ВЕБ ШТУРМ
Обсудить →

Fine-tune Gemma 4 (или Qwen 3.6) на корпоративные данные: пошаговый гайд on-premise (152-ФЗ)

Веб Штурм
  • Gemma 4
  • Qwen
  • fine-tune
  • LoRA
  • 152-ФЗ
  • on-premise
  • LLM
  • multimodal

Gemma Oracle — наш внутренний продукт: локальный fine-tune Gemma 4 на корпоративных данных (история заявок, тарифы, политики). Цель — on-premise помощник менеджеру по продажам, который не передаёт ПД клиента во внешние LLM. С 1 июля 2025 это не «удобно», а юридически обязательно.

Контекст

В 2025-2026 году рынок открытых LLM закрыл главное белое пятно — small/medium модели с открытыми весами и multimodal-возможностями.

Всё это можно крутить локально на одной видеокарте 24GB.

При этом 152-ФЗ запрещает передавать персональные данные в иностранные сервисы (OpenAI, Anthropic, Google AI Cloud). Штрафы для повторных нарушений — до 18 млн ₽. On-premise LLM перестала быть экзотикой — это базовая compliance-инфраструктура.

Какую модель выбрать

СценарийМодель
Multimodal (text + image + audio в одном запросе)Gemma 4 12B/27B
Дешёвый fine-tune на узкой задачеQwen 3.6 7B (быстрее обучается, меньше VRAM)
Строго российский контекст (госсектор, банки)YandexGPT 5 Lite или GigaChat MoE
Англоязычный доменLLaMA 3.3 или Gemma 4

Для нашего Gemma Oracle выбрали Gemma 4 12B — multimodal помог распознавать сканы документов и фотографии теплоходов, а 256K context позволил влезть всю историю заявок одного клиента в один запрос.

Зачем нам своя LLM

Менеджер по продажам в круизном бизнесе ежедневно отвечает на повторяющиеся вопросы: «когда отправление в Кострому в августе», «какая цена на двухместку с балконом», «есть ли скидка для пенсионеров».

Внешний ChatGPT не знает наших тарифов и не должен знать ФИО клиентов. Свой помощник на Gemma 4 знает обе вещи и не «утекает» наружу. Окупается за 2-3 месяца только на сэкономленном времени менеджеров.

Подготовка датасета

Источник — CSV-выгрузки из старой PHP-системы (5+ лет истории). Структура:

# 5 типов записей:
# 1. tariffs.csv — тарифы по сезонам
# 2. ships.csv — теплоходы и каюты
# 3. orders.csv — анонимизированная история заявок (без ФИО, только профили)
# 4. policies.md — корпоративные политики (отмены, переносы)
# 5. faq.md — собранные за годы вопросы менеджерам

import pandas as pd
df = pd.read_csv('orders.csv', encoding='utf-8')
# Анонимизация: ФИО → «Турист N», телефон → «+7 (XXX) XXX-XX-XX»
df = anonymize(df, columns=['fio', 'phone', 'email'])

Из этого формируется JSONL в формате instruction-tuning:

{"instruction": "Сколько стоит двухместная каюта с балконом в августе 2026?", "output": "Двухместная каюта с балконом в августе — от 89 400 ₽ за пассажира на 7-дневный рейс. Конкретная цена зависит от палубы и даты отправления."}
{"instruction": "Какая политика отмены за 14 дней до круиза?", "output": "При отмене за 14-7 дней удерживается 50% стоимости. За 7-3 дня — 80%. Менее 3 дней — без возврата (кроме медицинских случаев с документами)."}

Размер датасета — 8-12 тысяч примеров. Меньше — модель плохо обобщает, больше — не помещается в одну эпоху на 24GB.

LoRA + 4-bit quantization на одной карте

Полный fine-tune Gemma 4 12B требует ~80GB VRAM и недостижим на потребительских картах. LoRA (Low-Rank Adaptation) обучает только небольшой набор параметров поверх замороженной базы — помещается в 24GB при 4-bit квантовании базы.

Ключевые параметры (Hugging Face PEFT + bitsandbytes):

from transformers import AutoModelForCausalLM, BitsAndBytesConfig
from peft import LoraConfig, get_peft_model

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype="bfloat16",
)

model = AutoModelForCausalLM.from_pretrained(
    "google/gemma-4-12b-it",
    quantization_config=bnb_config,
    device_map="auto",
)

lora_config = LoraConfig(
    r=16,
    lora_alpha=32,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
    lora_dropout=0.05,
    task_type="CAUSAL_LM",
)
model = get_peft_model(model, lora_config)

На RTX 4090 24GB обучение 12K примеров за 3 эпохи — около 5-7 часов для Gemma 4 12B (для Qwen 3.6 7B — 3-4 часа). Чекпоинт LoRA-адаптера весит 60-100 МБ (vs 24 ГБ полной модели).

Eval-loop через small validation set

Без обратной связи fine-tune легко уходит в галлюцинации или забывание базовых знаний. Мы держим отдельный validation set из 200 примеров с эталонными ответами и считаем три метрики:

  1. Exact-match на цифрах (цены, даты, сроки) — допустимо ±5%, иначе считается ошибкой
  2. BLEU/ROUGE на текстовых ответах — отслеживаем общий drift
  3. Human eval на 30 примерах — раз в неделю руками проверяем «звучит ли как наш менеджер»

Если exact-match просел ниже 85% — катим назад на предыдущий чекпоинт.

Что мы из этого вынесли

Ссылки