Когда берём
Ассистенты, RAG-поиск по базе знаний, агенты с инструментами, всё с MCP.
Риски приложений на языковых моделях
Самый быстро меняющийся документ фонда: за полтора года список пересобирали дважды. Он нужен, потому что приложение с языковой моделью ломается не там, где обычное. Модель — это компонент, который принимает недоверенный текст и возвращает текст, который приложение выполняет. Всё остальное — следствия.
Редакция 2026 года переставила порядок и переписала примеры на основе разбора реальных инцидентов. Заметное изменение по сравнению с 2025-м: «Избыточные полномочия» поднялись с шестого места на третье — ровно тогда, когда агенты начали получать доступ к инструментам и деньгам. Пункт «Утечка системного промпта» переработан в более широкий «Раскрытие скрытого контекста».
Ассистенты, RAG-поиск по базе знаний, агенты с инструментами, всё с MCP.
Замена обычного аудита приложения — модель живёт внутри обычного веб-сервиса, и его риски никуда не делись.
Насыщенность кромки слева повторяет позицию в списке: этот список действительно ранжирован.
Прямое и косвенное: инструкция для модели, спрятанная в документе, письме, странице, тикете
Поднялся с шестого места. Модели дали инструмент, который она может вызвать без подтверждения человеком
Веса моделей, датасеты, адаптеры, плагины, сторонние MCP-серверы
Счёт за токены — такая же уязвимость, как отказ в обслуживании
Уверенный неверный ответ, на который система полагается как на факт
Развитие прежнего пункта про утечку системного промпта
RAG-специфика: доступ к чужим документам через общий индекс
Ответ модели уходит в SQL, в шаблон, в оболочку, в браузер — без проверки
Отдельный список для агентных систем — там, где модель не отвечает, а действует: вызывает инструменты, ходит в другие сервисы, помнит состояние между шагами.
Расскажите, что за система и почему вопрос возник сейчас. Скажем, какой формат подходит и что реально стоит проверять, а что можно не трогать.