Идея RAG: сначала найти, потом ответить

Модель знает не всё и иногда выдумывает. Идея RAG (ответ с поиском): сначала ищется фрагмент документа, подходящий к вопросу, затем он добавляется в запрос, и модели говорят: «отвечай только по этому тексту». Это снижает число ошибок, но не убирает их полностью: источник и ответ всё равно нужно проверять.

В настоящих системах для поиска применяют, например, эмбеддинги. Мы упростим: посчитаем общие слова вопроса и документа. set — множество без повторов, а & даёт общую часть двух множеств.

a = "python dasturlash tili"
b = "python nima"
umumiy = set(a.split()) & set(b.split())
print(len(umumiy))

Результат1

Следующий шаг: вставить найденный текст в шаблон промпта. Шаблон чётко отделяет для модели источник и вопрос. Поиск в этом уроке очень простой: в жизни качественный поиск — отдельная работа.