Вопрос по вашей реализацией RAG. ЧатЖпт занимается генерацией ответа. А кто принимает решение о типе вопроса, и кто занимается выборкой из базы знаний, подготавливает выборку для ЧатаЖпт?
Это достигается за счет того, что когда вы нарезаете контент Базы Знаний на чанки - вы задаете размер чанка и далее когда выполняете векторный поиск (similarity search) - указываете сколько нужно получить релевантных чанков. Таким образом в GPT вы будете передавать контент размером равным сумме размеров промта, вопроса и найденных чанков.
см. новое видео и код здесь: ruclips.net/video/ZqoPR65vTI4/видео.htmlsi=ZimC6hADw-kLcfYY
Вопрос по вашей реализацией RAG. ЧатЖпт занимается генерацией ответа. А кто принимает решение о типе вопроса, и кто занимается выборкой из базы знаний, подготавливает выборку для ЧатаЖпт?
Приглашаю в Телеграм общаться по это теме: t.me/AiExp01
Добрый день. Каким образом можно обойти ограничения по размеру токенов у чатов GPT?
Это достигается за счет того, что когда вы нарезаете контент Базы Знаний на чанки - вы задаете размер чанка и далее когда выполняете векторный поиск (similarity search) - указываете сколько нужно получить релевантных чанков. Таким образом в GPT вы будете передавать контент размером равным сумме размеров промта, вопроса и найденных чанков.
@@kvoloshenko спасибо
А можно не в телеграмме а инсте либо на веб сайте? И еще не через гугл колаб а локально на своей машине?
См. в соседнем комменте про сравнение RAG - там все локально