sirius-test-nlp-2023

Кейс по NLP для смены по ML от Тинькофф в Университете "Сириус"

Intro

В этом репозитории можно найти ноутбук для файн-тьюнинга ruDialoGPT и скрипт с логикой чат-бота в Telegram, работающего на основе дообученной модели.

Setup

• Для начала необходимо скачать данные из чата в Telegram в формате .json и добавить результирующий файл в папку data. Я выбрала чат своего потока на ПМИ ФКН ВШЭ
• Далее необходимо дообучить предобученную модель. Для этого нужно запустить все ячейки в ноутбуке fine_tuning.ipynb. Данные из Telegram будут обрабатываться внутри этого ноутбука с помощью скрипта prepare_messages.py
• Попробовать пообщаться с дообученной моделью можно в секции Inference в ноутбуке fine_tuning.ipynb
• В файле main.py прописана логика чат-бота на основе дообученной модели
• Пока что бот запускается только локально, но с ним сейчас можно спокойно пообщаться в Telegram. Мы с друзьями теперь активно пользуемся этим ботом в нашем общем чате, поэтому процесс main.py активен на домашнем компьютере. В ближайшее время займусь хостингом бота в приличном виде
• Юзернейм бота в Telegram: @ecole_deconomie_ami_bot

Examples

Links

• https://github.com/solemn-leader/sirius-test/tree/master
• https://huggingface.co/docs/transformers/tasks/language_modeling
• https://huggingface.co/tinkoff-ai/ruDialoGPT-medium
• https://github.com/tinkoff-ai/pycon-chit-chat/blob/main/notebooks/lm_training.ipynb