livadies/gemma-4-31B-Opus-Thinking-Adapter

🎭 Gemma-4-31B Opus-Thinking Ghetto-Adapter v1.0

🩸 ОПИСАНИЕ

Это LoRA-адаптер для модели Gemma-4-31B, обученный в экстремальных условиях на бесплатном железе (Kaggle 2xT4). Цель проекта: привить гигантской 31B модели манеру рассуждений и формат ответов Claude 3.5 Opus, используя датасет nohurry/Opus-4.6-Reasoning.

🛠️ ТЕХНИЧЕСКИЙ СТЕК (Ghetto MLOps)

Модель — памятник инженерной наглости. Чтобы втиснуть обучение 31B параметров в 30GB VRAM, были применены следующие методы:

• Asymmetric VRAM Split: GPU 0 (7GB) / GPU 1 (14.5GB) — ювелирное распределение под кэш-аллокатор и градиенты.
• Brutal Tokenization: Ручная пре-процессия данных с обрезкой контекста до 128 токенов для предотвращения взрыва памяти на огромном словаре (256k).
• NF4 Quantization: Базовая модель загружена в 4 битах.
• LoRA Rank 8: Минимально допустимый ранг для выживания при расчете градиентов на T4.
• GradScaler Kill: Полное отключение fp16 и переход на adamw_torch для обхода системного бага PyTorch No inf checks.

⚠️ ОГРАНИЧЕНИЯ

Из-за жесткого лимита контекста (128 токенов) модель обладает «эффектом короткой памяти». Она отлично усвоила синтаксис и формат диалога, но длинные цепочки рассуждений <think> могут обрываться.

🎸 КРЕДИТЫ

Вы используете проект, созданный при поддержке Livadies. Слушайте музыку будущего: 🟢 Spotify | 🔴 YouTube | 🟡 Yandex 🔥 Главный трек кванта: «RUSSIAN WINTER 26»