non-lore-README-cn.md

[English](./non-lore-README.md) | [简体中文](./non-lore-README-cn.md)

# Bigger Body 70b
基于 Llama 3.3 70b 的沉浸式角色扮演伪全参数微调模型，Ink 系列的精神续作。

## 数据集
Bigger Body（内部仍称 Ink v2.1）的训练数据配方堪称精神污染，其邪恶程度甚至超越了初代 Ink 数据集。

<details>
<summary>（公开）原始数据集</summary>

<ul>
    <li><a href="https://huggingface.co/datasets/Fizzarolli/limarp-processed">Fizzarolli/limarp-processed</a></li>
    <li><a href="https://huggingface.co/datasets/Norquinal/OpenCAI">Norquinal/OpenCAI</a> - <code>two_users</code> 分割</li>
    <li><a href="https://huggingface.co/datasets/allura-org/Celeste1.x-data-mixture">allura-org/Celeste1.x-data-mixture</a></li>
    <li><a href="https://huggingface.co/datasets/mapsila/PIPPA-ShareGPT-formatted-named">mapsila/PIPPA-ShareGPT-formatted-named</a></li>
    <li><a href="https://huggingface.co/datasets/allenai/tulu-3-sft-personas-instruction-following">allenai/tulu-3-sft-personas-instruction-following</a></li>
    <li><a href="https://huggingface.co/datasets/readmehay/medical-01-reasoning-SFT-json">readmehay/medical-01-reasoning-SFT-json</a></li>
    <li><a href="https://huggingface.co/datasets/LooksJuicy/ruozhiba">LooksJuicy/ruozhiba</a></li>
    <li><a href="https://huggingface.co/datasets/shibing624/roleplay-zh-sharegpt-gpt4-data">shibing624/roleplay-zh-sharegpt-gpt4-data</a></li>
    <li><a href="https://huggingface.co/datasets/CausalLM/Retrieval-SFT-Chat">CausalLM/Retrieval-SFT-Chat</a></li>
    <li><a href="https://huggingface.co/datasets/ToastyPigeon/fujin-filtered-instruct">ToastyPigeon/fujin-filtered-instruct</a></li>
</ul>
</details>

## 量化版本
待补充！

## 推荐配置
对话模板：Llama 3  
推荐采样参数（仅供参考，请自行探索）：
- 暂时没有建议，自由发挥吧

## 超参数配置
### 常规参数
- 训练轮数 = 2
- 学习率 = 1e-5
- 学习率调度器 = [REX](https://github.com/IvanVassi/REX_LR)
- 优化器 = [CAME](https://github.com/yangluo7/CAME)
- 有效批次大小 = 16
- 权重衰减 = 0.01
- 预热步数 = 0
- 总训练步数 = 920
- 量化位数 = 4bit

## LoRA 参数
- LoRA 秩 = 16
- LoRA 缩放系数 = 32
- LoRA 丢弃率 = 0.25

## 致谢
衷心感谢所有数据集的贡献者们。  
特别致谢 Allura 全体成员的测试支持与精神鼓励 /柏拉图式比心