远光软件微调平台
默认业务空间
版本 v1.0.0
模型调优 / 创建训练任务

### 基本信息

任务名称

0 / 50

### 训练配置

*GPU硬件选择
正在加载GPU设备...

支持选择多个GPU进行训练（多卡训练）

训练方式
SFT 微调训练
在监督指令下，增强模型指令跟随的能力，提升全参数微调训练方式
DPO 偏好训练
引入人类反馈，降低幻觉，使得模型输出更符合人类偏好
CPT 继续预训练
通过无标注数据进行无监督继续训练，强化或新增模型特定能力
选择模型
训练方法
高效训练 全参训练
训练参数配置

参数名称 | 参数值 | 取值范围 | 参数说明
--- | --- | --- | ---
batch_size * |  | [1, 64] | 单步训练样本数量，数值越大训练速度越快，但显存占用越高
learning_rate * |  | [0.000001, 1] | 模型参数更新步长，过大可能导致训练不稳定，过小收敛速度慢
n_epochs * |  | [1, 100] | 完整遍历训练数据集的次数，建议设置在1-10之间
eval_steps * |  | [10, 10000] | 每训练多少步进行一次模型评估，建议设置为100的倍数
lr_scheduler_type |  | 3种可选 | 学习率变化策略，cosine为余弦退火，linear为线性下降，constant为保持不变
max_length * |  | [64, 4096] | 单条训练数据的最大token数，超出部分将被截断
warmup_ratio |  | [0, 1] | 学习率预热步数占总步数的比例，设置为0则不预热
weight_decay |  | [0, 1] | 防止过拟合的正则化技术，值越大对模型参数约束越强
lora_alpha * |  | 4种可选 | LoRA缩放系数，用于控制低秩适配矩阵的权重，影响模型对微调数据的敏感度
lora_dropout |  | [0, 1] | LoRA层 dropout 概率，在低秩适配矩阵中随机丢弃部分神经元以防止过拟合
lora_rank * |  | 4种可选 | LoRA低秩矩阵的秩，值越大表示低秩矩阵的维度越高，微调能力越强

### 数据配置

*训练集
验证集 *
自动切分 选择数据集
从当前训练集随机分割 % 作为验证集

### 训练产出

模型名称

0 / 50

模型加密 安全升级

为保障您的数据安全，平台会为导出的模型文件开启 OSS 服务端加密

取消
训练费用 (预估) | 计算详情

###