AI / ML · ~3 мин чтения
Hallucination
Когда LLM уверенно выдумывает факты, которых не существует. «Президент KZ — Иван Петров». Главный недостаток LLM. Лечится RAG, validation, system prompts.
Развёрнутое объяснение
Hallucination — феномен, когда LLM генерирует правдоподобный, но неверный ответ. Модель не «знает», что не знает — она генерирует наиболее вероятное продолжение, даже если факт ложный.
Источники галлюцинаций: 1) пробелы в обучающих данных, 2) устаревшие данные, 3) запутанный prompt, 4) низкая температура samplинга на нечётких задачах.
Защита: RAG (модель отвечает только по предоставленному контексту), system prompt («если не знаешь — скажи `не знаю`»), validation (проверка фактов автоматом), human-in-the-loop на критичных задачах.
Пример
Спрашиваешь у Claude: «Кто основал WRAW?». Если в обучении модели нет данных — она может выдумать. С RAG (модель видит твой /about) — отвечает «Алексей Функнер» правильно.
Где это в услугах WRAW
- Все RAG-боты с system prompt «отвечай только по контексту»
- На критичных задачах (юр, мед, фин) — human-in-the-loop
Частые вопросы
Связанные термины
LLM
Large Language Model — большая языковая модель. ChatGPT, Claude, Gemini — это всё LLM. Обучены на миллиардах текстов и у…
RAG
Retrieval-Augmented Generation — архитектура AI-бота, которая ищет ответ в твоей базе документов перед тем, как сгенерир…
Prompt engineering
Искусство (и наука) формулировки запросов к LLM, чтобы получать стабильно качественные ответы. От «напиши пост» к «напиш…