Запускать локальные LLM на своём железе уже давно не удел избранных с кластерами из H100. Или все же удел? 😁

🗓 1 мая в 18:00 по мск пройдет прямой эфир в «Точке Сборки». Будем разбирать установку и использование локальных моделей.

О чем пойдет речь:
▪️ Как выбрать подходящую модель под ваше железо, чтобы она не сожрала всю память системы и работала с адекватным TPS (tokens per second).
▪️ Поднятие модели в режиме чата для повседневных задач.
▪️ Подключение локальной LLM к агентной IDE (в качестве примера возьмем Kilo Code).
▪️ Маршрутизация запросов к локалке через LangChain.
▪️ Оно вообще надо?

Трансляция и запись будут доступны участникам «Точки Сборки». Оформление доступа происходит через бота: https://t.me/TScompiler_bot