Как за 30 минут развернуть локального RAG-помощника на LLM

Бесплатно, легально в РФ (без облаков и регистраций)
Практика

Контекст:
Шаг № 1. Архитектура системы
Шаг № 2. Устанавливаем Сервер инференса и модели
Шаг № 3. Поднимаем локальный сервер инференса
Шаг № 4. Установка RAG-клиента (Open WebUI)
Шаг № 5. Подключение Open WebUI к LM Studio

📝 Шаг №6: Загружаем документы и тестируем RAG

1. Создаём рабочее пространство

- На главном экране Open WebUI нажмите «Рабочее пространство» (Workspace)
- Дайте имя, например: «Аналитика»
- В выпадающем списке выберите модель

🛠️ 2. Параметры индексации RAG

Перед загрузкой документов настройте параметры индексации — это влияет на то, как модель видит ваш файл.

Где искать:
Настройки администратора (аватар в правом нижнем углу) → Настройки → Документы

Что изменить?
1. Уменьшить размер чанка (Chunk Size): 256 (вместо 512)
Маленькие чанки лучше для таблиц — модель не теряет строки
2. Увеличить количество чанков (Top-K) со стандартных 5 до 10-15ти
Больше чанков = больше данных попадает в контекст
3. Установить перекрытие чанков (Chunk Overlap) 50–100 токенов
Перекрытие, чтобы данные не обрывались на границе чанка

⚠️ Важно:
Новые настройки применятся только к новым загрузкам! Удалите ранее загруженный документ из Рабочего пространства (если уже загружали).

⚙️ 3. Настройка контекстного окна модели

При работе с большим количеством данных вы можете получить ошибку, например:
`n_keep: 8686 >= n_ctx: 8192` — это означает, что ваш запрос превышает лимит модели.

В этом случае нужно настроить контекстное окно (Context Length)

Где настраивать?

Проще через интерфейс LM Studio (можно через командную строку):
- Откройте вкладку «My Models»
- Выберете нужную модель, нажмите на иконку шестерёнки (⚙️)
- Найдите поле Context Length (или n_ctx)
- Установите нужное значение (например, 16384)
- Сохраните настройки
- Перезагрузите модель: нажмите «Unload», а затем снова «Load»

Готово! Теперь модель будет загружаться с новым размером контекста.

⚠️ Важно:
- Увеличение контекстного окна требует больше оперативной и видеопамяти. Если модель не загружается после увеличения — попробуйте уменьшить значение или переключить движок на CPU (расширенные настройки)
- Изменения применяются только при загрузке. Context Length — это параметр, который задаётся во время загрузки модели в память. Поэтому после изменения настроек обязательно перезагружайте модель.

4. Загружаем документы

- Внутри рабочего пространства перейдите во вкладку «Знания» (Knowledge)
- Нажмите «Загрузить» и выберите файлы (поддерживаются PDF, CSV, TXT, DOCX)
- Можно добавить URL веб-страницы — система спарсит и проиндексирует её

Что под капотом:

Open WebUI автоматически разбивает документы на чанки, вычисляет эмбеддинги (векторы) и сохраняет их во встроенную векторную БД (ChromaDB).

5. Два способа загрузки документов

• Постоянное хранилище (документы нужны постоянно) | Вкладка «Знания» (Knowledge) в Рабочем пространстве
• Одноразовая загрузка (разовый файл) | Скрепка в чате

Используйте постоянное хранилище — документы не потеряются после перезагрузки.

✅ 6. Как проверить, что RAG работает

- Задайте вопрос, ответ на который есть только в ваших документах (модель не может знать без контекста)
- Если ответ пришёл и содержит информацию из документов — RAG работает!
- Если модель отвечает «не знаю» или придумывает — проверьте настройки индексации

7. Настройка качества ответов (если в тестовом вопросе есть неточности)

Классическая проблема RAG — модель получает не весь файл целиком, а фрагменты (чанки). Поэтому в зависимости от настроек:
1. Модель видит не все данные
2. Модель путает данные

📌 Чек-лист если ответы неточные

Модель видит не все данные → Увеличьте Top-K
Таблица путается→ Переформатируйте в CSV с заголовками
Модель придумывает → Уменьшите Chunk Size
Слишком длинные ответы → Измените температуру модели (в настройках чата)

Готово! Теперь у вас есть локальный RAG-помощник. 🚀

💬 Далее
Тестируем RAG и боремся с галлюцинациями