Knowledge Maps - как бороться с галлюцинациями в RAG-системах?

Давайте поговорим про борьбу с галлюцинациями в современных RAG системах. Почему возникают галлюцинации, и как нам с ними бороться?
Мы возьмем в качестве примера галлюцинации классическую систему на базе векторной RAG-системы и посмотрим, как она безудержно выдумывает ответы на простейший вопрос. Потом мы заглянем под капот в поисках источника ошибок и используем подход Knowledge Mapping для исправления этой ситуации.
В завершение мы посмотрим на применение этого подхода в разных кейсах.
Все ссылки: abdullin.com/e/df-2024
Слайды и продолжение Q&A: t.me/llm_under_hood/347

[@ArtyomVideo]

Большое спасибо за материал!

[@user-ok7xl2hl7t]

а как вы подаете таблицу в llm?

[@Zaznobable]

Понятно. Ноледж мэп из промтов спасет нас)

[@aponom84]

Снова про карты знаний ничего, кроме того, что только они вот у нас есть.

[@TheGodakame]

Как у Опуса может быть результат на уровне gpt3.5 в коде, это же абсолютно разная лига?

[@13ahom]

Странное решение. Если сделать науледжбейс то llm уже будет не нужна, обычного поиска хватит,. Разве что llm использовать как интерфейс I/O