Выкатывается очередной чат-бот техподдержки, юзер распинается о своей проблеме, а на третьем сообщении нейронка спрашивает: «Как вас зовут и чем могу помочь?».
Причина банальна: LLM по своей природе stateless. «Память» модели — это просто архитектурный костыль, и обычно проблему решают «в лоб»: берут LangChain, собирают все предыдущие сообщения и кидают в промпт.
🗓 Сегодня в 18:00 по мск в «Точке Сборки» будем разбирать архитектуру памяти для LLM-ассистентов и методы адекватного управления контекстом.
Необходимая база для понимания материала: 🔵Базовый синтаксис Python (классы, словари, функции). 🔵Понимание работы HTTP API и базовой концепции LLM (что такое промпт и токен). 🔵 Поверхностное знакомство с абстракциями LangChain.
😜 Lara — универсальный переводчик, переводит всё. Три режима: точный, литературный и творческий. 🎛 Elgato — бесплатный профессиональный микшер. Можно создавать звуковые эффекты. 📺Recraft — генератор картинок, ориентация на эстетику. Может создавать как векторные, так и векторные картинки. 🥰 TranslateGemma — переводчик на 55 языков. Нейросеть можно запустить локально на компьютере, без интернета. 🏡 MiroFish — имитирует реакцию граждан. Закидываете инфоповод и смотрите реакцию граждан. Доступно несколько стран. 👊 Stitch — ИИ-сервис от google, который заменит figma. 🚗 Editor — полноценный 3-D редактор, прямо в браузере. Бесплатно, с открытым кодом. ⚡️Snowify — как Spotify, только бесплатно. Музыкальный плеер, который умеет всё то же самое, что и Spotify. 💪 Beautiful AI— нейронка для создания презентаций. 🤟 YTSage — качаем видео с YouTube, бесплатно. ♻️ My Translator— в реальном времени слушает звук с микрофона или системы, распознаёт речь и сразу выводит перевод как субтитры.
Я частенько делаю обложки для статей, объединяя персонажей с разных постеров, промо, кадров и т. п. Но порой ИИ не так понимает запрос и создаёт настоящие шедевры. Поделюсь порцией таких фейлов с одной из последних генераций, когда я пытался объединить «Пацанов», «Вот это драма!», «Очень странные дела: Истории из 85», «Космос засыпает»
Выкатывается очередной чат-бот техподдержки, юзер распинается о своей проблеме, а на третьем сообщении нейронка спрашивает: «Как вас зовут и чем могу помочь?».
Причина банальна: LLM по своей природе stateless. «Память» модели — это просто архитектурный костыль, и обычно проблему решают «в лоб»: берут LangChain, собирают все предыдущие сообщения и кидают в промпт.
🗓 14 апреля в 18:00 по мск в «Точке Сборки» будем разбирать архитектуру памяти для LLM-ассистентов и методы адекватного управления контекстом.
Необходимая база для понимания материала: 🔵Базовый синтаксис Python (классы, словари, функции). 🔵Понимание работы HTTP API и базовой концепции LLM (что такое промпт и токен). 🔵 Поверхностное знакомство с абстракциями LangChain.
Хватит говорить нейросетям, что они Senior-разработчики 🛑
Наверняка вы все используете одно из базовых правил промпт-инжиниринга: начинайте запрос с фразы типа «Представь, что ты Senior Python Developer сд 100 годами опыта в Google». Да, я тоже так делаю.
Так вот, выкатили свежее исследование от USC, которое доказывает, что такие фразы делают модель тупее в написании кода.
Почему так? 🧐 Сырые знания (факты, алгоритмы, логика) закладываются в модель на этапе pretraining. А вот умение отыгрывать роль, следовать формату и быть безопасной — это результат instruction-tuning (SFT/RLHF).
Когда вы пишете You are an expert..., вы переводите модель в режим жесткого следования инструкциям. Ее внутренние веса смещаются в сторону поддержания этой маски (alignment-задачи). Модель тратит «вычислительный ресурс» на то, чтобы звучать как эксперт, вместо того чтобы думать как эксперт. Происходит интерференция: instruction-following паттерны подавляют нейронные пути, отвечающие за извлечение чистых фактов из претрейна.
Цифры из пейпы: на бенчмарках вроде MMLU и задачах на кодинг/математику базовая модель с голым промптом стабильно обходит модель с навешанной персоной (68% против 71.6% accuracy). Нейронка буквально тупеет в логике, пытаясь генерировать уверенный в себе, красиво структурированный булшит. Особенно сильно этот эффект бьет по reasoning-моделям вроде DeepSeek-R1, ломая им цепочки рассуждений.
Значит ли это, что персоны вообще не нужны? Нет. Исследование четко разделяет задачи:
1️⃣ Где персона вредит (Pretraining-dependent tasks): Кодинг, математика, извлечение сырых фактов, логические загадки. Как надо: Дайте голый контекст и четкую задачу. Никаких «ты эксперт».
2️⃣ Где персона работает (Alignment-dependent tasks): Написание текстов, форматирование (собрать данные в JSON определенной структуры), тон общения и, как ни странно, safety (отказы писать эксплойты). Как надо: Здесь Ты — строгий критик или Ты — технический писатель реально улучшит структуру ответа.
Для тех, кто хочет вкопаться глубже: исследователи даже собрали костыль PRISM — LoRA-адаптер с гейтом, который на лету включает персону для форматирования и вырубает её, когда дело доходит до хардкорного кодинга и фактов.
В общем, теперь знаем, что если вам нужен работающий код или решение сложной архитектурной задачи — перестаем уговаривать железяку, что она гений. Просто нормально пишем ТЗ.
Сотрудникам небольшой компания (чуть более 500 человек) дали доступ ко всем популярным нейросетям, что есть на рынке, чтобы посмотреть, что произойдёт. Пристегните ремни, сейчас будет интересно.
— 416 пользователей из 527 хоть раз потыкались — 122346 запросов (в среднем 42 запроса на пользователя в месяц) — 6851 доллар расходов (535 тысяч рублей, 184 руб/месяц на активного юзера)
Иногда вы это знаете, иногда нет, но 50-60% ваших сотрудников уже используют нейросети в работе. Ежедневно. Вопрос не в том, внедрять ли. Вопрос в том, контролируете вы это или нет. 71% офисных работников используют AI без одобрения IT. 38% делятся конфиденциальными данными компании с публичными AI-сервисами.
P.S. Если решите повторить опыт, то выбирайте оплату за токены — выйдет дешевле.
Меня позвали в прямой эфир к Известиям, поговорить про кибер угрозы и использование ИИ применительно к этой теме.
Вот вам кусочек из эфира, где я говорю про уязвимость продуктов написанных с помощью ИИ.
В целом, ничего нового, про это давно идёт разговор и кибербез как никогда в тренде. Кроме уязвимости вайбкод продуктов ещё есть такой занимательный факт, что киберпреступники тоже легко поднимают себе на том же mac mini свою модель, обучают ее на созданных вирусах и эта нейронка теперь клепает их с невероятной скоростью.
А ещё, оказывается, есть целая обученная модель в том числе для создания вирусов. Название давать не буду чтоб вы сами себе ПК не сломали случайно об нее. То есть это не локальная модель а вполне публичная большая языковая модель. Просто там кроме прочего обучали ещё и на вирусах.
Тема большая, одним постом ее не раскрыть, но смысл, думаю, уловили. К тому же я не эксперт по кибербезопасности. Пока что кайфаните от видоса)
⚡ Klingai — нейронка для редактирования видео. Умеет создавать видео по тексту, менять стиль, заменять объекты в кадре, удалять вотермарки. 📍 GeoSpy AI — найдёт ваше точное местоположение по отражению. 🏗 Tweeks — расширение для Chrome, которое исправит любой сайт. Позволяет легко убрать всю рекламу, скрывать плашки про куки, парсит все данные со страницы. 💻 Windows95 — windows можно запустить прямо в браузере, полноценная операционная система, можно загружать виртуальные дискеты. 🎮 Wan — нейронка умеет создавать видео со звуком и даже озвучкой на русском языке. Качество и плавность генераций сильно подняли. 👻 SpectralLabs — нейросеть, которая генерит сложные 3D-модели в CAD. Просто закидывает чертёж и получаем готовую модель детали, можно закинуть в AutoCad. 🚙 Immersa — бесплатный конструктор слайдов, добавляет в статические модельки в плавную анимацию. 📺 IPTV — бесплатный просмотр всех популярных каналов из 78 стран мира. 🤖 TARS — ИИ видит экран, двигает мышь, печатает, открывает сайты и работает с программами. Пишите команды обычными словами: «зайди на сайт», «заполни форму», «скачай файл», «забронируй билет» — и он делает это сам, без скриптов. 📃 Bentopdf — редачим любые PDF прямо в браузере. Вся обработка происходит у вас в браузере — данные не попадут ни на один сервер.
Аналитика от Similarweb по доле разных нейронок в веб-траффике. В начале года доля ChatGPT составляла 87,2%, теперь же только — 68,0%. Между тем, компания приблизилась к отметке 900 млн уникальных пользователей в неделю.
Главный конкурент Gemini за год вырос с 5,4% до 18,2%. Главное оружие Google — это собственная экосистема: AI выдача в поисковике, Ассистент Gemini по умолчанию в Android. 76% всего траффика приходится на домен google.com.
⚔️ Две разные стратегии:
ChatGPT — это осознанный выбор. Люди целенаправленно идут на сайт, потому что считают его лучшим инструментом, ну или работает сарафанное радио. Это армия преданных фанатов.
Google Gemini — это сила дистрибуции. Он просто оказывается у вас под рукой, встроенный во всё, чем вы и так пользуетесь. Это победа за счет тотального присутствия.
Кто возьмёт вверх? Классный продукт или сила дистрибуции?
🤟 LynxOptimizer — приложение, оптимизирует работу интернета и решит проблему с потерей пакетов и высоким пингом. Отключает ненужные службы Windows, чистит мусорные файлы. 🖥 Depixelization — убирает шум и делает текст читаемым на любых фотографиях. Подходит для рефератор, дипломных работ итд. Бесплатно, регистрироваться не нужно. 🐙Chandra — превращаем любые PDF и картинки в текстовые документы. Закидываем файл и получаем в формате HTML, Markdown и JSON. Легко работает с таблицами, формулами и диаграммами. Понимает больше 40 языков. 💪 NotebookLM — создаёт презентации из любых файлов, роликов на YouTube или сайтов. Бесплатно, нужен VPN. 👾 RetroAssembly — запускает старые игры прямо в браузере. Эмуляция консолей Nintendo, Atari, Sega и других. Поддерживает облачные сохранения между устройствами. 😜 VibetestUse — ИИ-сервис, который протестирует ваш сайт на прочность и найдёт все уязвимости: ищет ошибки, битые ссылки или косяки в дизайне. 🖼️ Nano Banana Pro — бесплатный генератор картинок, лучшая модель на сегодняшний день. 📹 Zumie — делаем скринкасты (запись экрана) бесплатно: добавляет плавные переходы, масштабирует нужные участки и накладывает аккуратные фоны. 📕 BookGraph — сервис, который создаёт умную карту на основе вашей библиотеки и подскажет, что ещё можно почитать. ✈ Transor — ИИ-переводчик для любого контента: переводит сайты, документы, картинки и даже видео с YouTube. 🔍 SecondBrain — ищем, что угодно на вашем компьютере, нейронка превращает ваш компьютер в гигантскую базу данных с ИИ-поиском. 🖼 MultipleAngles — нейросеть изменяет положение в кадре. Объектив можно вращать, наклонить на 45–90 градусов, поменять угол съёмки, перспективу или сильно приблизить изображение.
