Gemma и минимальная RAG-система | Хранение и обработка данных на Python #11

Минимальная RAG-система: поиск по документам плюс модель Gemma в Ollama, бюджет контекста и почему ссылка в ответе ещё не подтверждение. Лекция 11 курса «Системы хранения и обработки больших данных». Все лекции курса по порядку: https://www.youtube.com/playlist?list=PLJKkCVaHmr64 Содержание: 00:00 Вступление 00:18 Что вы сможете после этого видео 00:45 Главный вопрос лекции 00:55 Из жизни: ссылки на месте, а ответ неверный 01:29 RAG — два контура 01:45 Пять компонентов — у каждого своя роль 02:00 Проверьте себя 02:20 Короткий запрос до всякого поиска 03:05 gemma3:4b — фиксированный тег курса 03:22 Окно контекста стоит памяти — у Gemma 3 немного 03:41 rag_config.json: все настройки запуска в одном файле 03:59 Проверьте себя 04:20 Упаковка найденного: блоки с метками 05:04 Инструкция генератору — отдельный файл prompts/v1.txt 05:20 Бюджет считают токенами Gemma, а не E5 05:36 Бюджет входа: 4096 = вход + 512 на ответ + 128 запаса 05:54 Бюджет и переполнение на учебном окне 06:34 Запрос к /api/generate: за каждым полем — решение 06:51 Пять статусов ответа 07:05 Полный путь одного ответа: Q01 07:39 Проверка меток в ответе 08:11 Метка есть — подтверждения нет: сверяем [S2] 08:30 Четыре версии инструкции, семь вопросов dev 08:51 Обрезка по символам меняет вывод 09:09 Без корпуса и с RAG 09:27 Документ с внедрённой командой 10:15 Запись журнала: весь путь ответа 10:32 Типичные ошибки практики 11 11:16 Практическая работа 11: RAG с проверяемыми источниками 11:33 Проверьте себя 11:49 Итоги и ответ на главный вопрос #bigdata #python #анализданных