Огляд проєкту
Цей проєкт реалізовано під час переходу на AI/ML стек мовою Python. Головна мета — практичне освоєння концепції Transfer Learning в області NLP.
Замість того, щоб тренувати модель з нуля, була використана потужна базова модель BERT і донавчена під конкретну задачу - оцінка відгуків за IMDB датасетом.
Основні етапи реалізації:
- Токенізація: Використання специфічного для BERT токенізатора для правильного кодування текстових послідовностей та роботи з attention mask.
- Fine-tuning процес: Розморожування верхніх шарів моделі та обережне налаштування learning rate для адаптації ваг моделі без руйнування базових знань мови.
- Оцінка: Валідація результатів моделі на тестовій вибірці.
Проєкт дав глибоке розуміння того, як працюють сучасні архітектури Transformer, і як швидко розгортати state-of-the-art рішення для аналізу текстів чи класифікації на базі Python-стеку. Source лежить в Google Colab.