🧑‍🎓 GPT Week от Яндекса: как обучают и дообучают GPT #MLSTART

Если хочется разобраться, что реально происходит под капотом больших языковых моделей - от pretrain до fine-tuning - у Яндекса был крутой интенсив GPT Week.

Я сам посмотрел примерно половину. Честно скажу - местами довольно сложно. Но зато там много действительно полезного контента, особенно если уже есть база по ML и нейросетям.

💡Что там разбирают:
- Как обучаются большие языковые модели
- Этапы pretrain и fine-tuning
- С какими ограничениями и компромиссами сталкиваются на практике

📺 Записи всех занятий можно найти в плейлисте.

А если хочется не просто смотреть, а разбираться руками - есть ноутбуки к семинарам:
- Семинар 1
- Семинар 2
- Семинар 4

Ещё есть дайджест интенсива - кратко и по делу.

⚡️ GPT Week - это уже следующий уровень после "вката". Когда хочется понять не только как пользоваться моделями, но и что реально происходит внутри - от обучения до дообучения.

Если какие-то лекции покажутся сложными - это нормально. Даже выборочный просмотр даёт хорошее представление о том, насколько LLM - это инженерно сложные системы.

На этом серия про старт в ML и LLM логично завершается. Надеюсь, она поможет вам быстрее выстроить путь и избежать лишней каши в голове 🙂

Вернуться к оглавлению

👩‍💻 Data Flow