功能特性¶
模型微调的功能特性参见下表:
一级功能 | 二级功能 | 描述 |
---|---|---|
数据集 | 可视化创建数据集 | 提供直观的界面,支持创建训练、验证和测试数据集 |
格式和类型 | 支持 Alpaca 格式和 ShareGPT 格式的数据集,以及自定义评测和人工评测类型的数据集。Alpacaga 支持指令监督微调、预训练、偏好训练、KTO、多模态数据集;ShareGPT 支持指令监督微调、偏好训练和 KTO 数据集;自定义评测类型支持文件格式为 csv 或 jsonline 的简答题和问答题;自定义评测仅支持 jsonline 文件 | |
S3存储支持 | 支持从S3存储中直接拉取文件,提升数据接入的便捷性 | |
本地文件上传 | 支持本地文件上传,提供多样化的数据接入方式 | |
模型微调 | 微调方法 | 支持 LoRA、全量微调(full)、冻结微调(freeze)等多种模型微调方式的可视化管理 |
训练阶段 | 支持(增量)预训练、多模态指令监督微调、奖励模型训练、PPO训练、DPO训练、KTO训练、ORPO训练等多种集成方法 | |
实时监控 | 支持查看微调过程中的学习率、训练损失和验证损失等关键数据,实时监控模型训练状态 | |
查看任务日志 | 支持查看微调过程中的日志信息 | |
模型评测 | 基线评测 | 支持语言的字词释义、成语习语、语义相似度、指代消解;知识的知识问答;推理的文本蕴含、常识推理、数学推理、定理应用、综合推理;考试的初中/高中/大学/职业考试;理解的阅读理解、内容总结、内容分享等官方定义的数据集进行评测 |
自定义评测 | 支持文件格式为 csv 或 jsonline 的选择题类型的数据集 | |
人工评测 | 通过人工标注模型推理结果,手动生成评测报告。仅支持 jsonline 格式的数据集 | |
基础模型评测 | 支持通过文件挂载方式接入的模型直接进行评测 | |
微调模型评测 | 支持对微调后的模型进行评测 | |
模型导出 | 可视化导出模型 | 支持对 full 微调后的模型导出至模型广场,并部署对话 |
支持的基础模型 | 支持的模型 | 包括 LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Qwen2-VL、Yi、Gemma、Baichuan、ChatGLM、Phi 等等 |