PROИТ

Естественный язык и общий алгоритм его обработки (Neural networks and NLP, часть 1.1)

Что такое естественный язык, и как с ним можно работать?

[DS NLP] Как сгенерировать кроссворд при помощи deep learning? (Natural Language Processing)

Вопрос от коллег: вопрос про кроссворд, все когда-то пытались их решать. Слова случайно пересекают друг друга в 1 и более местах по общим буквам. В качестве дано могут даваться некоторые буквы на пересечениях слов или же просто в случайных местах (а может и вобще их не быть в кроссворде), помимо этого даются фразы-задания для каждого слова (обычно не больше 3-5 слов). Конечно помимо этого известны ответы, в качестве таргета.

[Data science] Глубокое обучение VS линейная регрессия

В настоящее время нейронные сети намного быстрее, чем раньше, благодаря аппаратным улучшениям, и их также легче разрабатывать. Но действительно ли они так нужны?‎

[DS NLP] Как сделать свой BERT или расширить существующий? (Natural Language Processing)

Вопрос от коллег: Подскажите, как можно или сделать свой BERT или расширить существующий? Задача не стандартная:

1) Нужны не просто токены (слова эмбедить), а N-граммы, хотя бы до 2, т.е не просто слово "автомобиль" а еще и "легковой автомобиль".

Как я понимаю Берт содержит только по слову в классическом виде, а еще, учитывая, что он бьет BPE токенизации, так вообще плохо.

2) Нет тренировочного датасета, есть просто тексты, короткие (вроде твитера), и нужно сделать хороший эмбединг до биграмм.

[DS NLP] Каким образом GPT делает для одних и тех же текстов разные предложения? (Natural Language Processing)

Вопрос от коллег: каким образом модель GPT делает для одних и тех же текстов разные предложения? Если посмотреть на модель, то там нет никакой вероятности.

[DS NLP] Как создать синтаксически размеченный корпус языка? (Natural Language Processing)

Вопрос от коллег: стоит задача создать синтаксически размеченный корпус языка (русского и потом по аналогии другого непопулярного языка). Пока что были пробы работать с библиотекой spaCy и визуализацией зависимостей в jupyter notebook через displacy, а с помощью каких инструментов можно реализовать корпус вне гугл колаба и сложно ли делать визуализацию зависимостей?

[DS NLP] Как определить акцент по записи устной речи? (Natural Language Processing)

Вопрос от коллег: коллеги, кто то занимался вопросами определения акцента человека исходя из устной речи?

[Solved] All Hyper-V VM are Saved State. An error occurs when trying to change the state of a virtual machine

Some of the virtual machines went into the Saved state (and on some servers all virtual machines), and when you try to start them (execute Start), we get an error message:

Hyper-V VM Saved ошибка failed to restore virtual machine state (Windows Server 2012 R2)

Дано: Microsoft Windows Server 2012 R2 Hyper-V (Hypervisor).

Сегодня внезапно часть виртуальных машин перешла в состояние Saved (а на некоторых серверах все виртуалки), а при попытке их запустить (выполнить Start) получаем сообщение об ошибке:

SERVER-NAME failed to restore virtual machine state.

Virtual machine SERVER-NAME could not be started because the hypervisor is not running.

На более старых гипервизорах ошибка такая:

SERVER-NAME failed to change state.

Печать символов ASCII на Python

Один из вариантов вывода на экран списка ASCII символов при помощи циклов и zip:

[Data Science] Пример анализа данных с использованием моделей KNN, SVM и SVM с гиперпараметрами (для прогноза покупок)

Анализируемый датасет содержит размеченные сведения о том, купил ли товар определенный пользователь или нет. О пользователе известны такие данные как: возраст, пол и ориентировочная зарплата. О покупках данные представлены в виде: 1 - покупка совершена, 0 - нет. В данной статье попробуем обучить модель, прогнозирующую вероятность соверешения покупки, если нам известны данные о пользователе. Будут применены методы: метод ближайшего соседа (KNN, K nearest neighbor), метод опорных векторов (SVM, support vector machines) и ядра SVM (Kernal SVM) с подбором оптимальных гиперпараметров для модели.

JupyterLab Как изменить стартовую директорию в Windows 10

Задача: необходимо, чтобы при запуске JupyterLab открывалась определенная директория (в которой например располагаются ваши рабочие нотбуки).

Jupyter Notebook Как изменить стартовую директорию в Windows 10

Задача: необходимо, чтобы при запуске Jupyter Notebook открывалась определенная директория (в которой например располагаются ваши рабочие нотбуки).

Оптимизация размера памяти dataframe (python, pandas) путем преобразования числовых типов

Обычно данные для анализа довольно большого объема сами по себе и при загрузке занимают от сотен мегабайт до гигабайт. Помимо этого при загрузке данных в dataframe (pandas) числовые значения не всегда получают наиболее подходящие типы, например вместо int8 назначается тип int64 из-за чего объем используемой под dataframe памяти существенно возрастает.

Приведенная в статье функция позволит быстро переопределить указанные типы в случае такой возможности и в некоторых случаях существенно сократить размер памяти под dataframe.