🤯 Как работают LLM под капотом #MLSTART

Когда впервые сталкиваешься с большими языковыми моделями, кажется, что внутри какая-то магия. 🪄

Но на деле всё куда проще (и интереснее). Если очень упростить, то можно сказать, что LLM - просто предсказывает следующий символ или слово.

Она “смотрит” на контекст, оценивает вероятности всех возможных продолжений и выбирает наиболее подходящее. То есть, в основе - обычная многоклассовая классификация, только на гигантском масштабе.

🎞 Чтобы наглядно это увидеть, есть два шикарных ресурса:

- 3Blue1Brown - визуально объясняет, как работают нейронные сети. После его видео многие вещи становятся буквально очевидными.

- Андрей Карпатый - бывший разработчик OpenAI, разбирает, как собрать GPT с нуля. Без лишней воды, очень системно. Он шаг за шагом показывает, как строится языковая модель и почему она делает то, что делает.

💬 Эти два плейлиста реально помогают сложить в голове пазл: от нейронок - к трансформерам, а от них - к пониманию LLM.

Вернуться к оглавлению

👩‍💻 Data Flow