[Data Science] Пример анализа данных с использованием моделей KNN, SVM и SVM с гиперпараметрами (для прогноза покупок)

Анализируемый датасет содержит размеченные сведения о том, купил ли товар определенный пользователь или нет. О пользователе известны такие данные как: возраст, пол и ориентировочная зарплата. О покупках данные представлены в виде: 1 - покупка совершена, 0 - нет. В данной статье попробуем обучить модель, прогнозирующую вероятность соверешения покупки, если нам известны данные о пользователе. Будут применены методы: метод ближайшего соседа (KNN, K nearest neighbor), метод опорных векторов (SVM, support vector machines) и ядра SVM (Kernal SVM) с подбором оптимальных гиперпараметров для модели.

JupyterLab Как изменить стартовую директорию в Windows 10

Задача: необходимо, чтобы при запуске JupyterLab открывалась определенная директория (в которой например располагаются ваши рабочие нотбуки).

Jupyter Notebook Как изменить стартовую директорию в Windows 10

Задача: необходимо, чтобы при запуске Jupyter Notebook открывалась определенная директория (в которой например располагаются ваши рабочие нотбуки).

 

Оптимизация размера памяти dataframe (python, pandas) путем преобразования числовых типов

Обычно данные для анализа довольно большого объема сами по себе и при загрузке занимают от сотен мегабайт до гигабайт. Помимо этого при загрузке данных в dataframe (pandas) числовые значения не всегда получают наиболее подходящие типы, например вместо int8 назначается тип int64 из-за чего объем используемой под dataframe памяти существенно возрастает.

Приведенная в статье функция позволит быстро переопределить указанные типы в случае такой возможности и в некоторых случаях существенно сократить размер памяти под dataframe.

1С. Аварийное завершение, платформа легальная

При запуске базы в режиме Предприятие начала появляться ошибка "Аварийное завершение".

Как расшифровать файл enc (без КриптоАрм) при помощи командной строки (утилита cryptcp)

Если имеется сертификат КриптоПро, но отсутствует программа КриптоАрм и необходимо расшифровать файл enc, то можно сделать это при помощи утилиты командной строки cryptcp.

Утилита бесплатна, входит в состав дистрибутивов или скачивается отдельно с сайта на странице загрузки КриптоПро.

Как подписать файл при помощи КриптоПро CSP (без КриптоАрм)

Если иногда возникает необходимость подписать файл электронно-цифровой подписью (ЭЦП), то необязательно покупать КриптоАрм, такую операцию можно произвести при помощи инструментов КриптоПро (устанавливаются вместе с КриптоПро).

1С и синий экран после обновления Windows 10

После очередного обновления операционной системы Windows 10 при запуске 1С в режиме Предприятие система уходила с ошибкой в "синий экран смерти":

Ошибка в Microsoft Teams: не печатается буква Ж

Пользователи Microsoft Office 365 столкнулись с неожиданной проблемой: при создании Собрания в Teams в полях «Добавьте обязательных участников» и «Добавьте необязательных участников» нет возможности вводить с клавиатуры букву «Ж» (символ на русской раскладке).

1С. Объединение двух массивов в один (при помощи БСП, клиент, сервер)

Если в Вашей конфигурации используется БСП, то объединить два массива в один можно при помощи следующей процедуры: 

1С, вывести сообщение пользователю (при помощи БСП, клиент, сервер)

Если Ваша конфигурация применяет БСП, то рекомендуется использовать процедуры БСП для вывода сообщений пользователям.

Примеры вывода сообщений

1С. Дистрибутив платформы - отсутствует setup.exe (невозможно обновить)

Скачала дистрибутив платформы 1С 8.3.17 для очередного обновления, однако при распаковке RAR-архива не обнаружила привычных файлов для инсталляции - отсутствовал файл setup.exe и другие. Присутствовали только следующие файлы:

1С. Макет. Произвольные колонтитулы и повтор шапки таблицы в табличном документе (готовая функция)

Пример рекурсивной функции, при помощи которой в табличный документ можно выводить верхний или нижний колонтитулы с произвольным содержимым, а также делать повтор шапки таблицы (или таблиц, если их несколько).

В данной статье будет приведен пример рекурсивной функции, при помощи которой в табличный документ можно выводить верхний или нижний колонтитулы с произвольным содержимым, а также делать повтор шапки произвольной таблицы в документе (или таблиц, если в документе их несколько).

Сравнение систем онлайн-трансляций (Teams, Proficonf, YouTube)

В связи с режимом самоизоляции (апрель 2020) появилась необходимость проводить занятия в дистанционном формате.
Провели с коллегами несколько экспериментов и выделили небольшой перечень систем онлайн-трансляций и видеоконференцсвязи, которые также доступны для учебного процесса.

Сравнение производилась по 15 параметрам, результаты представлены в таблице.

Надеемся, что данная информация поможет в выборе указанных технологий и определении сценариев более эффективного их использования.

Таблица: Сравнение систем онлайн-трансляций (Teams, Proficonf, YouTube)

[DS NLP] Как сделать свой BERT или расширить существующий? (Natural Language Processing)

Вопрос от коллег: Подскажите, как можно или сделать свой BERT или расширить существующий? Задача не стандартная:

1) Нужны не просто токены (слова эмбедить), а N-граммы, хотя бы до 2, т.е не просто слово "автомобиль" а еще и "легковой автомобиль".

Как я понимаю Берт содержит только по слову в классическом виде, а еще, учитывая, что он бьет BPE токенизации, так вообще плохо.

2) Нет тренировочного датасета, есть просто тексты, короткие (вроде твитера), и нужно сделать хороший эмбединг до биграмм.