🪙 Как не сливать токены в языковых моделях
🪙 Как не сливать токены в языковых моделях
Если вы активно пользуетесь языковыми моделями вроде Claude или GPT, то наверняка замечали, как быстро заканчиваются лимиты токенов. Особенно это применимо к премиум моделям, типа Opus 4.6, использование которых даже на платных подписках лимитировано. Всё дело в том, что при каждом запросе передаётся вся история диалога, и чем она длиннее, тем больше токенов уходит. Но есть способ сэкономить.
Попробуйте делать краткое summary. На определённом этапе общения с моделью (например, в середине диалога) попросите её сформулировать резюме в формате markdown. В этом резюме должна быть вся ключевая информация, чтобы другой агент мог продолжить разговор с того же места. Затем откройте нового агента, вставьте туда это summary и задайте следующий вопрос. Новый диалог начнётся с минимальной историей, но с сохранением контекста 👍
👩💻 Data Flow 🧰 n8n: автоматизация без границ
🧰 n8n: автоматизация без границ
Если всё ещё вручную копируешь данные между сервисами или пишешь одни и те же скрипты для типовых задач - пора познакомиться с n8n.
Это визуальный конструктор рабочих процессов, который связывает приложения, API и базы данных без необходимости писать длинный код.
💡 Как это работает
В основе n8n - нодовая логика. Каждый узел (node) выполняет отдельное действие: отправляет запрос, парсит файл, фильтрует данные, вызывает API или запускает скрипт.
Соединяя ноды линиями, ты создаёшь целую систему - от простых последовательностей до сложных сценариев с десятками условий и циклов.
Простые задачи? Легко:
- Отправить уведомление в Telegram при поступлении новой заявки из формы
- Каждые сутки собирать данные с сайта и сохранять в Google Sheets
Сложные сценарии? Ещё интереснее:
- Интеграции с REST API
- Управление потоками данных между CRM и ERP
- Работа с Redis, OpenAI, Qdrant или LangChain
- Собственные ИИ-агенты, которые выполняют задачи по цепочке - от получения данных до генерации отчётов
⚡️ Главное - n8n остаётся открытой платформой.
Можешь добавить свои ноды, нормализовать данные и выстраивать гибкую архитектуру автоматизации любого масштаба - от стартапа до корпоративного решения.
Я уже упоминал n8n как no-code инструмент для сборки первого ИИ-ассистента.
Но это только верхушка айсберга - с его помощью можно автоматизировать практически любые рутинные процессы в работе.
👩💻 Data Flow 🧑🎓 GPT Week от Яндекса: как обучают и дообучают GPT #MLSTART
🧑🎓 GPT Week от Яндекса: как обучают и дообучают GPT #MLSTART
Если хочется разобраться, что реально происходит под капотом больших языковых моделей - от pretrain до fine-tuning - у Яндекса был крутой интенсив GPT Week.
Я сам посмотрел примерно половину. Честно скажу - местами довольно сложно. Но зато там много действительно полезного контента, особенно если уже есть база по ML и нейросетям.
💡Что там разбирают:
- Как обучаются большие языковые модели
- Этапы pretrain и fine-tuning
- С какими ограничениями и компромиссами сталкиваются на практике
📺 Записи всех занятий можно найти в плейлисте.
А если хочется не просто смотреть, а разбираться руками - есть ноутбуки к семинарам:
- Семинар 1
- Семинар 2
- Семинар 4
Ещё есть дайджест интенсива - кратко и по делу.
⚡️ GPT Week - это уже следующий уровень после "вката". Когда хочется понять не только как пользоваться моделями, но и что реально происходит внутри - от обучения до дообучения.
Если какие-то лекции покажутся сложными - это нормально. Даже выборочный просмотр даёт хорошее представление о том, насколько LLM - это инженерно сложные системы.
На этом серия про старт в ML и LLM логично завершается. Надеюсь, она поможет вам быстрее выстроить путь и избежать лишней каши в голове 🙂
Вернуться к оглавлению
👩💻 Data Flow 🤖 ИИ-ассистент на Avito: как заменить менеджера в пиковые часы
🤖 ИИ-ассистент на Avito: как заменить менеджера в пиковые часы
Если думаешь, что ИИ-агенты - это что-то далекое и абстрактное, вот реальный кейс с цифрами от одного из наших студентов. Магазин одежды на Avito с оборотом 3 млн рублей в месяц внедрил ИИ-ассистента для обработки заявок - и результаты впечатляют.
💡 Что такое ИИ-агент?
Это программа, которая может самостоятельно думать, принимать решения и выполнять задачи. В отличие от обычной языковой модели, ИИ-агент имеет доступ к вспомогательным инструментам и способен ими осознанно пользоваться.
В этом кейсе ИИ-агент:
- Читает сообщения клиентов
- Понимает их вопросы (размеры, доставка, цена)
- Ищет нужную информацию в базе из ~500 товаров
- Генерирует ответ на основе данных бизнеса
- Отправляет ответ в Авито
🎯 Задача
Менеджер не успевал обрабатывать 30-40 заявок в час в пиковое время. Если не ответить быстро - клиент уходит. Нужно было освободить менеджера от рутины и взять обработку заявок на автоматизацию.
⚙️ Как это работает
Webhook от Авито → Преобразование сообщения → Загрузка данных из БД → Проверка токена → Фильтр (только от клиентов) → AI генерирует ответ → Отправка обратно в Авито.
Но была проблема: клиент пишет 3 сообщения подряд за 10 секунд - ассистент отвечает 3 раза. Выглядит странно + лишние затраты на токены.
Решение: внедрение Redis, который объединяет все сообщения клиента в течение нескольких секунд в единое сообщение - и ассистент отвечает один раз, но сразу на все вопросы.
📊 Результаты
- Время ответа 5-15 минут -> 1-5 секунд
- 5-10 заявок/час -> 30-40+ заявок/час
- Менеджер: 10ч в день -> ИИ-агент: 24/7
- 50.000₽ в месяц -> 10.000₽ в месяц
За 4 недели тестирования заявки "без ответа" исчезли при сохранении конверсии в оплату. Количество оплат даже немного выросло за счет полной переработки спроса.
🔧 Бонус-фича
Когда клиенту пишут с предложением сотрудничества или нестандартными вопросами - ассистент перенаправляет диалог владельцу через уведомление в Telegram.
⚡️ Человек не убирается полностью из процесса - он просто усиливается автоматизацией. Контроль сохраняется, но пиковые нагрузки теперь не проблема.
😎 Хочешь собирать такие же автоматизации? Приходи к нам на курс.
👩💻 Data Flow 💻 Где запускать модели, если дома нет мощного GPU
💻 Где запускать модели, если дома нет мощного GPU? #MLSTART
Не у всех есть дома RTX 4090 (и это нормально 😄). Но это вообще не повод откладывать эксперименты с ML и LLM. На старте почти всё можно делать в облаке - быстро, дёшево (иногда бесплатно) и без боли с настройкой окружения.
Вот два варианта, которыми я сам пользовался 👇
🏟 Kaggle Notebooks
Kaggle - это не только соревнования, но и удобная среда для запуска ноутбуков с GPU.
Что здесь хорошего:
- Бесплатный доступ к GPU (обычно T4 / P100, с лимитами по времени)
- Уже настроенное окружение: PyTorch, TensorFlow, Hugging Face - всё из коробки
- Огромное количество публичных ноутбуков - можно смотреть, как другие решают задачи
Отличный вариант, если хочется поучиться ML, попробовать fine-tuning лёгких моделей или поиграться с датасетами и baseline-решениями.
🚀 Google Colab
Google Colab - классика, с которой начинали (и продолжают начинать) очень многие.
Плюсы:
- Бесплатные GPU и TPU (сессионно, с ограничениями)
- Легко подключать Google Drive для данных и моделей
- Огромное количество туториалов и примеров
Если захочется больше стабильности и ресурсов - есть платные тарифы (Colab Pro / Pro+), но на старте бесплатной версии более чем достаточно.
💡 Что важно понимать: лимиты есть везде, сессии могут обрываться, GPU могут быть недоступны. Для обучения огромных моделей этого не хватит - но для обучения небольших моделей, экспериментов и прототипов это вообще не проблема.
Большинство задач на старте - это не "обучить 70B модель", а понять пайплайн и механику. Kaggle и Colab закрывают 80% учебных и экспериментальных задач и позволяют спокойно двигаться дальше.
Вернуться к оглавлению
👩💻 Data Flow 🛒 Объединили все 3 наших хита в один пакет
🛒 Объединили все 3 наших хита в один пакет
Если вы давно тут и все не решались познакомиться с моей командой крутых авторов, то вот шанс, забирайте сразу весь пакет 🍖
💻 Пакет из 3-х курсов по цене двух, чтобы быстро, но плотно нырнуть в сферу AI инженерии.
🍭 И сверху еще скидка 50% по промокоду FIFTY2START до конца дня в честь публикации
✍️ Внутри пакета три курса (смотри второй скрин)
Посмотреть и забрать можно тут 👉 три курса 🕶 Fine-tuning и RAG: нужно ли дообучать модели
🕶 Fine-tuning и RAG: нужно ли дообучать модели? #MLSTART
Когда начинаешь работать с моделями, часто хочется их "допилить под себя" - чтобы понимали контекст проекта, говорили в нужном тоне, лучше решали конкретные задачи. Первое, что приходит в голову - дообучить модель. Но это не всегда лучший (и точно не первый) шаг.
🍭 Fine-tuning - это мощно. Но при этом и сильно дорого: нужны данные, вычислительные ресурсы и время. Поэтому обычно к нему прибегают, когда уже опробованы все другие способы.
А вот что точно стоит попробовать вначале 👇
- Few-shot prompting - когда ты показываешь модели несколько примеров правильных ответов прямо в промпте. Это помогает направить её стиль и логику без дополнительного обучения.
- RAG (Retrieval-Augmented Generation) - подход, при котором модель "обогащается" нужными знаниями из внешних источников (например, базы документов или вики).
- SGR (Schema-Guided Reasoning) - относительно свежий подход: структурировать ответы моделей, чтобы их формат был более детерминированным и предсказуемым.
💡 Иногда даже простая настройка температуры (параметра "творчества") решает половину проблем:
- Меньше температура → более точные и стабильные ответы
- Выше → больше вариативности и креатива
Если же хочется поэкспериментировать с fine-tuning, можно брать лёгкие модели (например, Qwen-8B или Mistral) и обучать их на узких задачах. Большое количество уже готовых датасетов можно найти на HuggingFace.
Но чаще всего бывает достаточно просто поработать с промптами, контекстом и гиперпараметрами.
Вернуться к оглавлению
👩💻 Data Flow 🕗 Осталось меньше 4 часов
🕗 Осталось меньше 4 часов
Чёрная пятница подходит к концу, и уже 1 декабря стоимость курса ИИ агенты и автоматизация с n8n будет повышена.
Коммьюнити вокруг этого курса растет невероятным темпами: сейчас уже более 800 студентов осваивают навык автоматизации вместе с нами. Наблюдать результаты студентов - отдельный вид удовольствия.
Уже спустя месяц ребята с нуля собирают крупные автоматизации, такие как:
- Интеграции с CRM и умные чатботы, которые автоматизируют общение с клиентами
- Контент-заводы, которые берут на себя создание и публикацию контента в соцсетях
- RAG системы, которые отвечают на вопросы с использованием своей базы документов
И это лишь малая часть. О кейсах еще обязательно расскажу, но чуть позже.
Сейчас хочу лишь сказать - если вы планировали освоить создание агентов и автоматизаций, то лучшее время начать - сейчас.
На следующей неделе уже соберете свою первую автоматизацию, а до конца месяца - сможете решить реальную рабочую задачу, ради которой пришли на курс.
Самое крутое, что бонусом вы получаете доступ к серверу n8n с Enterprise-подпиской (оригинальная стоимость примерно 700 000 рублей). Не нужно будет возиться с настройкой окружения - с первых же уроков можно творить.
Плюс все студенты получают бесплатные токены на gpt, так что сразу можно эксперементировать с ИИ агентами.
И кстати, скидка уже автоматически применена на странице курса😉
Успевай!
👩💻 Data Flow Друзья развернули Enterprise лицензию n8n на своём сервере и дают бесплатный доступ
Друзья развернули Enterprise лицензию n8n на своём сервере и дают бесплатный доступ. Если хочется быстро собрать какую-нибудь автоматизацию под свои задачи и не заморачиваться пока с селфхостингом - welcome. Говорят, что доступы пока ещё есть в наличии.
Сам тоже пользуюсь, кайфово 👍
👩💻 Data Flow 
