Как разработчики радостно стреляют себе в ногу 🔫

На crackr.dev есть каталог, где трекают факапы вайбкодинга.

Вот парочка примеров, связанных с Python:

1️⃣ Supply chain через галлюцинации
Топовые LLM стабильно советовали ставить несуществующий пакет huggingface-cli (в реальности ставится через pip install "huggingface_hub[cli]").
Ребята из Lasso Security не растерялись и залили на PyPI пустышку с таким названием.

Итог — больше 30 000 реальных загрузок за пару месяцев. Это 30 тысяч разработчиков, которые бездумно скопипастили команду из чата в терминал. Идеальный вектор атаки: даже взламывать никого не надо, просто ждем, пока ИИ сам подсунет жертве вашу малварь.

2️⃣ RCE из коробки от Клода
Red Team из Databricks попросили Claude накидать мультиплеерную змейку. Сетка выдала полностью рабочий код, клиенты коннектятся, змейки ползают. Но для передачи стейта по сети Клод решил использовать pickle вместо JSON, потому что так проще сериализовать питонячьи объекты.

Для тех, кто забыл базу: pickle.loads() на сырых данных из сокета — это моментальный Remote Code Execution. Любой подключившийся клиент мог отправить специально сформированный байткод и исполнить произвольные команды на сервере. Сэкономили время на парсинге JSON — получили дыру размером с ангар.

Проблема нейросеток не в том, что они глупые. Они пишут код, который решает задачу и работает. Но архитектурную безопасность и краевые случаи сетка в расчет не берет, если её явно не заставить это делать через параноидальные промпты.

Ревьююююююю 🫵