🕶 Fine-tuning и RAG: нужно ли дообучать модели? #MLSTART

Когда начинаешь работать с моделями, часто хочется их "допилить под себя" - чтобы понимали контекст проекта, говорили в нужном тоне, лучше решали конкретные задачи. Первое, что приходит в голову - дообучить модель. Но это не всегда лучший (и точно не первый) шаг.

🍭 Fine-tuning - это мощно. Но при этом и сильно дорого: нужны данные, вычислительные ресурсы и время. Поэтому обычно к нему прибегают, когда уже опробованы все другие способы.

А вот что точно стоит попробовать вначале 👇

- Few-shot prompting - когда ты показываешь модели несколько примеров правильных ответов прямо в промпте. Это помогает направить её стиль и логику без дополнительного обучения.
- RAG (Retrieval-Augmented Generation) - подход, при котором модель "обогащается" нужными знаниями из внешних источников (например, базы документов или вики).
- SGR (Schema-Guided Reasoning) - относительно свежий подход: структурировать ответы моделей, чтобы их формат был более детерминированным и предсказуемым.

💡 Иногда даже простая настройка температуры (параметра "творчества") решает половину проблем:
- Меньше температура → более точные и стабильные ответы
- Выше → больше вариативности и креатива

Если же хочется поэкспериментировать с fine-tuning, можно брать лёгкие модели (например, Qwen-8B или Mistral) и обучать их на узких задачах. Большое количество уже готовых датасетов можно найти на HuggingFace.

Но чаще всего бывает достаточно просто поработать с промптами, контекстом и гиперпараметрами.

Вернуться к оглавлению

👩‍💻 Data Flow