Add local project snapshots and plans

Capture the current local data snapshot and planning artifacts alongside
this development batch so the workspace state matches the code changes.
This preserves the reference materials and generated files that were
kept in the working tree.

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
This commit is contained in:
2026-03-22 13:49:03 +08:00
parent 7d80a6e2ec
commit 90ea732584
47 changed files with 3553 additions and 119 deletions

Binary file not shown.

Binary file not shown.

View File

@@ -0,0 +1 @@
bad

View File

@@ -0,0 +1 @@
%PDF-1.4 bad

View File

@@ -0,0 +1 @@
bad

View File

@@ -0,0 +1 @@
bad

View File

@@ -0,0 +1 @@
%PDF-1.4 bad

View File

@@ -0,0 +1 @@
%PDF-1.4 bad

View File

@@ -0,0 +1 @@
bad

View File

@@ -0,0 +1 @@
bad

View File

@@ -0,0 +1 @@
bad

View File

@@ -1,119 +0,0 @@
远光软件股份有限公司科技项目可行性研究报告
项目名称:大模型微调技术研究与应用
申请部门:
起止时间:年至年
项目负责人:
联系电话:
申请日期:年 月
大模型微调技术可行性研究报告
远光软件股份有限公司科技项目可行性研究报告
项目名称: 大模型微调技术研究与应用
申请部门:
起止时间: 年 月至 年 月
项目负责人:
联系电话:
申请日期: 年 月
一、目的和意义
1.1 项目背景与需求
近年来以深度学习为基础的大型预训练语言模型Large Language Models,
LLMs如GPT系列、BERT、LLaMA等在自然语言处理领域取得了突破性进展通过海量数据的预训练和超大规模参数量这些模型展现出强大的通用语言理解与生成能力在机器翻译、文本摘要、问答系统、内容创作等众多任务中表现出色引领了人工智能技术的新浪潮。然而这些通用大模型在面对特定专业领域任务时往往存在知识覆盖不足、专业术语理解偏差、领域特定逻辑推理能力欠缺、输出风格不符合行业特点等问题难以直接满足垂直场景的应用需求。
模型微调Fine-tuning技术作为将通用大模型适配到特定场景的关键手段通过在领域相关数据上进一步训练模型参数使模型能够吸收领域知识、适应特定任务要求从而显著提升模型在目标任务上的性能表现。随着大模型参数规模的不断扩大传统的全参数微调方式面临着计算资源消耗大、存储成本高、容易产生灾难性遗忘等挑战因此参数高效微调Parameter-Efficient
Fine-Tuning,
PEFT方法如LoRA、Adapter、Prefix-tuning等技术应运而生为低成本、高效率的大模型领域适配提供了新的技术路径。
本项目旨在探索适合特定领域特点的高效微调策略,解决数据稀缺性、专业术语理解、领域知识融合等关键技术问题,提升模型在特定场景下的准确性、可靠性和实用性。
项目成果将对该现状和技术发展的作用主要体现在技术推动作用和应用落地支撑两方面。
二、国内外研究水平综述
2.1 技术发展历史简要回顾
大模型微调技术的发展历程分为四个阶段:
第一阶段2018年前传统迁移学习与微调雏形阶段。模型适配多采用传统迁移学习思路将通用数据集上训练的基础模型迁移至特定任务场景。
第二阶段2018-2020年预训练-微调范式确立阶段。2018年谷歌提出BERT模型首次构建"预训练通用知识+下游任务微调"的技术框架。
第三阶段2020-2022年高效微调技术爆发阶段。LoRA、QLoRA、Adapter等参数高效微调技术相继出现将微调参数规模大幅降低。
第四阶段2022年至今垂直领域深化与协同优化阶段。"基座模型+领域微调"的架构成为主流,微调技术与知识图谱进一步融合。
2.2 国内外研究水平现状和发展趋势
国际层面Hugging
Face、DeepSpeed等开源社区为参数高效微调技术的普及提供了重要支撑。国内层面阿里云基于通义千问进行财税领域定制微调验证了微调技术在财务领域的应用价值。
三、项目的理论和实践依据
3.1 项目研究内容原理简述
本项目采用"基座模型+领域适配"分层微调架构选取开源基座模型针对财务问答场景特性采用LoRA参数高效微调策略。
3.2 项目研究内容理论和实践依据
理论依据包括国家战略层面的政策支持和成熟的技术理论体系。实践依据包括大模型微调技术在财务等垂直领域的成功案例。
3.3 项目研究的关键和难点
关键点包括高质量数据集构建、高效微调策略适配、知识精准注入与幻觉抑制、效果评估体系建设。难点集中在数据处理、微调策略、知识注入和评估体系四个方面。
四、项目研究内容和实施方案
4.1 项目研究内容详细说明
本项目研究内容包括数据格式研究、微调框架研究、模型微调后评估体系研究三个方面。
4.2 理论研究步骤和试验计划
包括数据处理流程、训练数据生成流程、数据验证流程三个主要环节。
4.3 项目组织方式和协作分工
本项目由项目负责人统筹协调,下设数据组、算法组、应用组三个工作小组。
五、预期目标和成果形式
5.1 项目研究预期达到的目标
技术目标问答准确率达到85%以上。应用目标开发财务智能知识问答原型系统。效益目标替代财务专家70%以上的重复性咨询工作。
5.2 明确叙述提高研究成果的形式
包括技术方案文档、原型系统、训练数据集、微调模型、技术论文/报告等成果形式。
六、项目承担团队的条件
项目团队具备人工智能、大数据等领域的技术背景具备财务信息系统开发经验具备充足的GPU计算资源和完善的开发测试环境。
七、项目进度安排
第1-2月项目启动、需求分析第3-4月数据收集、清洗第5-7月数据集生成第8-10月模型训练第11-12月系统开发第13-14月优化整理第15-16月验收转化。
八、项目经费预算
本项目经费预算根据实际研究工作需要编制,包括人工费、设备使用费、业务费、场地使用费、专家咨询费等科目。
分管领导审核意见:
(对经费预算是否合理,有无其他经费来源,能否保证研究计划实施所需的人力,工作时间等基本条件提出具体意见)
分管领导(签字): 年 月 日

View File

@@ -0,0 +1 @@
%PDF-1.4 bad

View File

@@ -0,0 +1 @@
%PDF-1.4 bad