JARVIS/backend/data/chroma/chroma.sqlite3

SQLite format 3

@  	E4
	.zp
<0F>!<0F><0C>yZ
<EFBFBD>
<EFBFBD>	T	!<08><07>q:<06>c<05>v`+5<02>xC
<01>
E<00><00>!99
<01>Mtableembedding_fulltext_idxembedding_fulltext_idxCREATE TABLE 'embedding_fulltext_idx'(segid, term, pgno, PRIMARY KEY(segid, term)) WITHOUT ROWID<49> ;;
<01>!tableembedding_fulltext_dataembedding_fulltext_dataCREATE TABLE 'embedding_fulltext_data'(id INTEGER PRIMARY KEY, block BLOB)t11<08>tableembedding_fulltextembedding_fulltextCREATE VIRTUAL TABLE embedding_fulltext USING fts5(id, string_value)3G!
indexsqlite_autoindex_max_seq_id_1max_seq_idv!!
<01>7tablemax_seq_idmax_seq_idCREATE TABLE max_seq_id (
    segment_id TEXT PRIMARY KEY,
    seq_id BLOB NOT NULL
)CW1
indexsqlite_autoindex_embedding_metadata_1embedding_metadata<1A>s11
<01>tableembedding_metadataembedding_metadataCREATE TABLE embedding_metadata (
    id INTEGER REFERENCES embeddings(id),
    key TEXT NOT NULL,
    string_value TEXT,
    int_value INTEGER,
    float_value REAL,
    PRIMARY KEY (id, key)
)3G!
indexsqlite_autoindex_embeddings_1embeddings<18>!!
<01>qtableembeddingsembeddingsCREATE TABLE embeddings (
    id INTEGER PRIMARY KEY,
    segment_id TEXT NOT NULL,
    embedding_id TEXT NOT NULL,
    seq_id BLOB NOT NULL,
    created_at TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP,
    UNIQUE (segment_id, embedding_id)
)/C
indexsqlite_autoindex_segments_1segments<16>9
<01>EtablesegmentssegmentsCREATE TABLE "segments" (
    id TEXT PRIMARY KEY,
    type TEXT NOT NULL,
    scope TEXT NOT NULL,
    collection TEXT REFERENCES collection(id) NOT NULL
)=Q+
indexsqlite_autoindex_maintenance_log_1maintenance_log<06>++
<01>atablemaintenance_logmaintenance_logCREATE TABLE maintenance_log (
  id INT PRIMARY KEY,
  timestamp INT NOT NULL,
  operation TEXT NOT NULL
)5I#
indexsqlite_autoindex_collections_2collections5I#
indexsqlite_autoindex_collections_1collections<14>C##
<01>MtablecollectionscollectionsCREATE TABLE "collections" (
    id TEXT PRIMARY KEY, -- unique globally
    name TEXT NOT NULL, -- unique per database
    dimension INTEGER,
    database_id TEXT NOT NULL REFERENCES databases(id) ON DELETE CASCADE, config_json_str TEXT, schema_str TEXT,
    UNIQUE (name, database_id)
)1E
indexsqlite_autoindex_databases_2databases1E
indexsqlite_autoindex_databases_1databases<11>5
<01>9tabledatabasesdatabasesCREATE TABLE databases (
    id TEXT PRIMARY KEY, -- unique globally
    name TEXT NOT NULL, -- unique per tenant
    tenant_id TEXT NOT NULL REFERENCES tenants(id) ON DELETE CASCADE,
    UNIQUE (tenant_id, name) -- Ensure that a tenant has only one database with a given name
)-A
indexsqlite_autoindex_tenants_1tenants\

<01>tabletenantstenantsCREATE TABLE tenants (
    id TEXT PRIMARY KEY,
    UNIQUE (id)
)?S-
indexsqlite_autoindex_segment_metadata_1segment_metadata
<0A>--
<01>ktablesegment_metadatasegment_metadataCREATE TABLE segment_metadata (
    segment_id TEXT  REFERENCES segments(id) ON DELETE CASCADE,
    key TEXT NOT NULL,
    str_value TEXT,
    int_value INTEGER,
    float_value REAL, bool_value INTEGER,
    PRIMARY KEY (segment_id, key)
)EY3
indexsqlite_autoindex_collection_metadata_1collection_metadata	<09>-33
<01>
tablecollection_metadatacollection_metadataCREATE TABLE collection_metadata (
    collection_id TEXT REFERENCES collections(id) ON DELETE CASCADE,
    key TEXT NOT NULL,
    str_value TEXT,
    int_value INTEGER,
    float_value REAL, bool_value INTEGER,
    PRIMARY KEY (collection_id, key)
)<29>&''
<01>tableacquire_writeacquire_writeCREATE TABLE acquire_write (
                id INTEGER PRIMARY KEY,
                lock_status INTEGER NOT NULL
            )3G!
indexsqlite_autoindex_migrations_1migrations<03>/
!!
<01>)tablemigrationsmigrationsCREATE TABLE migrations (
                dir TEXT NOT NULL,
                version INTEGER NOT NULL,
                filename TEXT NOT NULL,
                sql TEXT NOT NULL,
                hash TEXT NOT NULL,
                PRIMARY KEY (dir, version)
         <0F>,<0F><0F><05>Wl<00> 	
e<>Msysdb	00009-segment-collection-not-null.sqlite.sql-- This makes segments.collection non-nullable.
CREATE TABLE segments_temp (
    id TEXT PRIMARY KEY,
    type TEXT NOT NULL,
    scope TEXT NOT NULL,
    collection TEXT REFERENCES collection(id) NOT NULL
);

INSERT INTO segments_temp SELECT * FROM segments;
DROP TABLE segments;
ALTER TABLE segments_temp RENAME TO segments;
054355aef9e63702bf54ea29e61563f1<EFBFBD>E
M<>}Msysdb00008-maintenance-log.sqlite.sql-- Records when database maintenance operations are performed.
-- At time of creation, this table is only used to record vacuum operations.
CREATE TABLE maintenance_log (
  id INT PRIMARY KEY,
  timestamp INT NOT NULL,
  operation TEXT NOT NULL
);
0a0e7e93111a01789addf64961c6127c<EFBFBD>9
Q<>aMsysdb00007-collection-config.sqlite.sql-- Stores collection configuration dictionaries.
ALTER TABLE collections ADD COLUMN config_json_str TEXT;
1c7e63bba346a42a18b6ab7f1c989bed<EFBFBD>e
e<>%Msysdb00006-collection-segment-metadata.sqlite.sql-- SQLite does not support adding check with alter table, as a result, adding a check
-- involve creating a new table and copying the data over. It is over kill with adding
-- a boolean type column. The application write to the table needs to ensure the data
-- integrity.
ALTER TABLE collection_metadata ADD COLUMN bool_value INTEGER;
ALTER TABLE segment_metadata ADD COLUMN bool_value INTEGER;
4eea7468935bf25d4604a0fed2366116<EFBFBD>b
G<>=Msysdb00005-remove-topic.sqlite.sql-- Remove the topic column from the Collections and Segments tables

ALTER TABLE collections DROP COLUMN topic;
ALTER TABLE segments DROP COLUMN topic;
b1367c826b8fba5f96f27befdc1d42d2<EFBFBD>
Q<>%Msysdb00004-tenants-databases.sqlite.sqlCREATE TABLE IF NOT EXISTS tenants (
    id TEXT PRIMARY KEY,
    UNIQUE (id)
);

CREATE TABLE IF NOT EXISTS databases (
    id TEXT PRIMARY KEY, -- unique globally
    name TEXT NOT NULL, -- unique per tenant
    tenant_id TEXT NOT NULL REFERENCES tenants(id) ON DELETE CASCADE,
    UNIQUE (tenant_id, name) -- Ensure that a tenant has only one database with a given name
);

CREATE TABLE IF NOT EXISTS collections_tmp (
    id TEXT PRIMARY KEY, -- unique globally
    name TEXT NOT NULL, -- unique per database
    topic TEXT NOT NULL,
    dimension INTEGER,
    database_id TEXT NOT NULL REFERENCES databases(id) ON DELETE CASCADE,
    UNIQUE (name, database_id)
);

-- Create default tenant and database
INSERT OR REPLACE INTO tenants (id) VALUES ('default_tenant'); -- The default tenant id is 'default_tenant' others are UUIDs
INSERT OR REPLACE INTO databases (id, name, tenant_id) VALUES ('00000000-0000-0000-0000-000000000000', 'default_database', 'default_tenant');

INSERT OR REPLACE INTO collections_tmp (id, name, topic, dimension, database_id)
    SELECT id, name, topic, dimension, '00000000-0000-0000-0000-000000000000' FROM collections;
DROP TABLE collections;
ALTER TABLE collections_tmp RENAME TO collections;
048867ce8fcdefe4023c7110e4433591<EFBFBD>
WyMsysdb00003-collection-dimension.sqlite.sqlALTER TABLE collections ADD COLUMN dimension INTEGER;
42d22d0574d31d419c2a0e7f625c93aa<EFBFBD>G
?<3F>Msysdb00002-segments.sqlite.sqlCREATE TABLE segments (
    id TEXT PRIMARY KEY,
    type TEXT NOT NULL,
    scope TEXT NOT NULL,
    topic TEXT,
    collection TEXT REFERENCES collection(id)
);

CREATE TABLE segment_metadata (
    segment_id TEXT  REFERENCES segments(id) ON DELETE CASCADE,
    key TEXT NOT NULL,
    str_value TEXT,
    int_value INTEGER,
    float_value REAL,
    PRIMARY KEY (segment_id, key)
);
2913cb6a503055a95f625448037e8912<EFBFBD>+
	E<>SMsysdb00001-collections.sqlite.sqlCREATE TABLE collections (
    id TEXT PRIMARY KEY,
    name TEXT NOT NULL,
    topic TEXT NOT NULL,
    UNIQUE (name)
);

CREATE TABLE collection_metadata (
    collection_id TEXT REFERENCES collections(id) ON DELETE CASCADE,
    key TEXT NOT NULL,
    str_value TEXT,
    int_value INTEGER,
    float_value REAL,
    PRIMARY KEY (collection_id, key)
);
38352d725ad1c16074fac4
	
'~qdWJ=<0F><0F><0F><0F><0F><0F><0F><0F><0F><0F>-

embeddings_queue-	
embeddings_queue

metadb

metadb

metadb

metadb


metadb	
metadb

sysdb



sysdb		

sysdb

sysdb

sysdb

sysdb

sysdb

sysdb

sysdb			sysdb

<0F><0F>


<0F><0F>/U	66d0d002-8e0d-4ba6-8db8-e42407c0dd6buser_id
CREATE TABLE segments_temp (
    id TEXT PRIMARY KEY,
    type TEXT NOT NULL,
    scope TEXT NOT NULL,
    collection TEXT REFERENCES collection(id) NOT NULL
);

INSERT INTO segments_temp SELECT * FROM segments;
DROP TABLE segments;
ALTER TABLE segments_temp RENAME TO segments;
054355aef9e63702bf54ea29e61563f1<EFBFBD>E
M<>}Msysdb00008-maintenance-log.sqlite.sql-- Records when database maintenance operations are performed.
-- At time of creation, this table is only used to record vacuum operations.
CREATE TABLE maintenance_log (
  id INT PRIMARY KEY,
  timestamp INT NOT NULL,
  operation TEXT NOT NULL
);
0a0e7e93111a01789addf64961c6127c<EFBFBD>9
Q<>aMsysdb00007-collection-config.sqlite.sql-- Stores collection configuration dictionaries.
ALTER TABLE collections ADD COLUMN config_json_str TEXT;
1c7e63bba346a42a18b6ab7f1c989bed<EFBFBD>e
e<>%Msysdb00006-collection-segment-metadata.sqlite.sql-- SQLite does not support adding check with alter table, as a result, adding a check
-- involve creating a new table and copying the data over. It is over kill with adding
-- a boolean type column. The application write to the table needs to ensure the data
-- integrity.
ALTER TABLE collection_metadata ADD COLUMN bool_value INTEGER;
ALTER TABLE segment_metadata ADD COLUMN bool_value INTEGER;
4eea7468935bf25d4604a0fed2366116<EFBFBD>b
G<>=Msysdb00005-remove-topic.sqlite.sql-- Remove the topic column from the Collections and Segments tables

ALTER TABLE collections DROP COLUMN topic;
ALTER TABLE segments DROP COLUMN topic;
b1367c826b8fba5f96f27befdc1d42d2<EFBFBD>
Q<>%Msysdb00004-tenants-databases.sqlite.sqlCREATE TABLE IF NOT EXISTS tenants (
    id TEXT PRIMARY KEY,
    UNIQUE (id)
);

CREATE TABLE IF NOT EXISTS databases (
    id TEXT PRIMARY KEY, -- unique globally
    name TEXT NOT NULL, -- unique per tenant
    tenant_id TEXT NOT NULL REFERENCES tenants(id) ON DELETE CASCADE,
    UNIQUE (tenant_id, name) -- Ensure that a tenant has only one database with a given name
);

CREATE TABLE IF NOT EXISTS collections_tmp (
    id TEXT PRIMARY KEY, -- unique globally
    name TEXT NOT NULL, -- unique per database
    topic TEXT NOT NULL,
    dimension INTEGER,
    database_id TEXT NOT NULL REFERENCES databases(id) ON DELETE CASCADE,
    UNIQUE (name, database_id)
);

-- Create default tenant and database
INSERT OR REPLACE INTO tenants (id) VALUES ('default_tenant'); -- The default tenant id is 'default_tenant' others are UUIDs
INSERT OR REPLACE INTO databases (id, name, tenant_id) VALUES ('00000000-0000-0000-0000-000000000000', 'default_database', 'default_tenant');

INSERT OR REPLACE INTO collections_tmp (id, name, topic, dimension, database_id)
    SELECT id, name, topic, dimension, '00000000-0000-0000-0000-000000000000' FROM collections;
DROP TABLE collections;
ALTER TABLE collections_tmp RENAME TO collections;
048867ce8fcdefe4023c7110e4433591<EFBFBD>
WyMsysdb00003-collection-dimension.sqlite.sqlALTER TABLE collections ADD COLUMN dimension INTEGER;
42d22d0574d31d419c2a0e7f625c93aa<EFBFBD>G
?<3F>Msysdb00002-segments.sqlite.sqlCREATE TABLE segments (
    id TEXT PRIMARY KEY,
    type TEXT NOT NULL,
    scope TEXT NOT NULL,
    topic TEXT,
    collection TEXT REFERENCES collection(id)
);

CREATE TABLE segment_metadata (
    segment_id TEXT  REFERENCES segments(id) ON DELETE CASCADE,
    key TEXT NOT NULL,
    str_value TEXT,
    int_value INTEGER,
    float_value REAL,
    PRIMARY KEY (segment_id, key)
);
2913cb6a503055a95f625448037e8912<EFBFBD>+
	E<>SMsysdb00001-collections.sqlite.sqlCREATE TABLE collections (
    id TEXT PRIMARY KEY,
    name TEXT NOT NULL,
    topic TEXT NOT NULL,
    UNIQUE (name)
);

CREATE TABLE collection_metadata (
    collection_id TEXT REFERENCES collections(id) ON DELETE CASCADE,
    key TEXT NOT NULL,
    str_value TEXT,
    int_value INTEGER,
    float_value REAL,
    PRIMARY KEY (collection_id, key)
);
38352d725ad1c16074fac420b22b4633

<01>J<0C>
<EFBFBD>	<09><07>
<01><00>v
K<>_Mmetadb00005-max-seq-id-int.sqlite.sqlALTER TABLE max_seq_id ADD COLUMN int_seq_id INTEGER;

-- Convert 8 byte wide big-endian integer as blob to native 64 bit integer.
-- Adapted from https://stackoverflow.com/a/70296198.
UPDATE max_seq_id SET int_seq_id = (
  SELECT (
       (instr('123456789ABCDEF', substr(hex(seq_id), -1 , 1)) <<  0)
     | (instr('123456789ABCDEF', substr(hex(seq_id), -2 , 1)) <<  4)
     | (instr('123456789ABCDEF', substr(hex(seq_id), -3 , 1)) <<  8)
     | (instr('123456789ABCDEF', substr(hex(seq_id), -4 , 1)) << 12)
     | (instr('123456789ABCDEF', substr(hex(seq_id), -5 , 1)) << 16)
     | (instr('123456789ABCDEF', substr(hex(seq_id), -6 , 1)) << 20)
     | (instr('123456789ABCDEF', substr(hex(seq_id), -7 , 1)) << 24)
     | (instr('123456789ABCDEF', substr(hex(seq_id), -8 , 1)) << 28)
     | (instr('123456789ABCDEF', substr(hex(seq_id), -9 , 1)) << 32)
     | (instr('123456789ABCDEF', substr(hex(seq_id), -10, 1)) << 36)
     | (instr('123456789ABCDEF', substr(hex(seq_id), -11, 1)) << 40)
     | (instr('123456789ABCDEF', substr(hex(seq_id), -12, 1)) << 44)
     | (instr('123456789ABCDEF', substr(hex(seq_id), -13, 1)) << 48)
     | (instr('123456789ABCDEF', substr(hex(seq_id), -14, 1)) << 52)
     | (instr('123456789ABCDEF', substr(hex(seq_id), -15, 1)) << 56)
     | (instr('123456789ABCDEF', substr(hex(seq_id), -16, 1)) << 60)
    )
);

ALTER TABLE max_seq_id DROP COLUMN seq_id;
ALTER TABLE max_seq_id RENAME COLUMN int_seq_id TO seq_id;
0e9de46758761b373ce682925edcc326<EFBFBD>R
O<>Mmetadb00004-metadata-indices.sqlite.sqlCREATE INDEX IF NOT EXISTS embedding_metadata_int_value ON embedding_metadata (key, int_value) WHERE int_value IS NOT NULL;
CREATE INDEX IF NOT EXISTS embedding_metadata_float_value ON embedding_metadata (key, float_value) WHERE float_value IS NOT NULL;
CREATE INDEX IF NOT EXISTS embedding_metadata_string_value ON embedding_metadata (key, string_value) WHERE string_value IS NOT NULL;
fb36603a45ee2cd0254cef3ef86585e8<EFBFBD>=

S<>eMmetadb00003-full-text-tokenize.sqlite.sqlCREATE VIRTUAL TABLE embedding_fulltext_search USING fts5(string_value, tokenize='trigram');
INSERT INTO embedding_fulltext_search (rowid, string_value) SELECT rowid, string_value FROM embedding_metadata;
DROP TABLE embedding_fulltext;
f97ad6334aeaa8f419f01110b648b97a<EFBFBD>
S<>)Mmetadb00002-embedding-metadata.sqlite.sql-- SQLite does not support adding check with alter table, as a result, adding a check
-- involve creating a new table and copying the data over. It is over kill with adding
-- a boolean type column. The application write to the table needs to ensure the data
-- integrity.
ALTER TABLE embedding_metadata ADD COLUMN bool_value INTEGER
12a570f7121b3a8ce750a2a7c36da20f<EFBFBD>(	S<>=Mmetadb00001-embedding-metadata.sqlite.sqlCREATE TABLE embeddings (
    id INTEGER PRIMARY KEY,
    segment_id TEXT NOT NULL,
    embedding_id TEXT NOT NULL,
    seq_id BLOB NOT NULL,
    created_at TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP,
    UNIQUE (segment_id, embedding_id)
);

CREATE TABLE embedding_metadata (
    id INTEGER REFERENCES embeddings(id),
    key TEXT NOT NULL,
    string_value TEXT,
    int_value INTEGER,
    float_value REAL,
    PRIMARY KEY (id, key)
);

CREATE TABLE max_seq_id (
    segment_id TEXT PRIMARY KEY,
    seq_id BLOB NOT NULL
);

CREATE VIRTUAL TABLE embedding_fulltext USING fts5(id, string_value);
2b4cf52c4bb2676e21d6860a4409f856<EFBFBD>3

Q<>UMsysdb
00010-collection-schema.sqlite.sql-- Stores collection schema as stringified json
ALTER TABLE collections ADD COLUMN schema_str TEXT;
5c3a5ac4b79df76799b4721827ed5e1d



<0F><0F>)	default_tenant

<0F><0F>'U	00000000-0000-0000-0000-000000000000

<0F><0F>")-	default_tenantdefault_database

<0F><0F>'U	66d0d002-8e0d-4ba6-8db8-e42407c0dd6b

<0F><0F>Q_U	user_3fcb0909-8572-4ce5-8df0-907b0e35915d00000000-0000-0000-0000-000000000000
<0F><0F><0F>(U
02f108e2-e6b2-428a-a613-8001f90acf31'U	f759e0b6-d062-4e67-9e53-b46dfaa9fa2a
{<0E>e{<0F>MUU
02f108e2-e6b2-428a-a613-8001f90acf31f01c16f1-4dcc-4cce-93d7-b8a5ae8a60faMUU
02f108e2-e6b2-428a-a613-8001f90acf3112a3b425-1eb6-4dca-8e90-ae3891eaa259MUU
02f108e2-e6b2-428a-a613-8001f90acf312d7a85e0-2be1-4b26-8aa5-5b4e0409fa0fMUU
02f108e2-e6b2-428a-a613-8001f90acf3143324d55-5216-402d-b218-871ea1b49152LUU	02f108e2-e6b2-428a-a613-8001f90acf31f9aa3603-f9af-4c07-991b-9b102cf4618e
<EFBFBD>
<EFBFBD>
j
H
3	<09>r\lJ4
#
chunk_index 

)!document_titlereport.txt<78>m
+<2B>7chroma:document第一阶段（2018年前）：传统迁移学习与微调雏形阶段。模型适配多采用传统迁移学习思路，将通用数据集上训练的基础模型迁移至特定任务场景。

第二阶段（2018-2020年）：预训练-微调范式确立阶段。2018年谷歌提出BERT模型，首次构建"预训练通用知识+下游任务微调"的技术框架。

第三阶段（2020-2022年）：高效微调技术爆发阶段。LoRA、QLoRA、Adapter等参数高效微调技术相继出现，将微调参数规模大幅降低。

第四阶段（2022年至今）：垂直领域深化与协同优化阶段。"基座模型+领域微调"的架构成为主流，微调技术与知识图谱进一步融合。

2.2 国内外研究水平现状和发展趋势

国际层面，Hugging
Face、DeepSpeed等开源社区为参数高效微调技术的普及提供了重要支撑。国内层面，阿里云基于通义千问进行财税领域定制微调，验证了微调技术在财务领域的应用价值。

三、项目的理论和实践依据

3.1 项目研究内容原理简述

本项目采用"基座模型+领域适配"分层微调架构，选取开源基座模型，针对财务问答场景特性采用LoRA参数高效微调策略。
file_typetxt<78>

+<2B>gchroma:document模型微调（Fine-tuning）技术作为将通用大模型适配到特定场景的关键手段，通过在领域相关数据上进一步训练模型参数，使模型能够吸收领域知识、适应特定任务要求，从而显著提升模型在目标任务上的性能表现。随着大模型参数规模的不断扩大，传统的全参数微调方式面临着计算资源消耗大、存储成本高、容易产生灾难性遗忘等挑战，因此，参数高效微调（Parameter-Efficient
Fine-Tuning,
PEFT）方法如LoRA、Adapter、Prefix-tuning等技术应运而生，为低成本、高效率的大模型领域适配提供了新的技术路径。

本项目旨在探索适合特定领域特点的高效微调策略，解决数据稀缺性、专业术语理解、领域知识融合等关键技术问题，提升模型在特定场景下的准确性、可靠性和实用性。

项目成果将对该现状和技术发展的作用主要体现在技术推动作用和应用落地支撑两方面。

二、国内外研究水平综述

2.1 技术发展历史简要回顾

大模型微调技术的发展历程分为四个阶段：7	
#Udocument_id464f8fd8-ee68-4cd2-9b8a-8ddfa50fbfb2
#	chunk_index 
)!document_titlereport.txt
file_typetxt	file_typetxt<78>{	+<2B>Uchroma:document远光软件股份有限公司科技项目可行性研究报告

项目名称：大模型微调技术研究与应用

申请部门：

起止时间：年至年

项目负责人：

联系电话：

申请日期：年 月

大模型微调技术可行性研究报告

远光软件股份有限公司科技项目可行性研究报告

项目名称： 大模型微调技术研究与应用

申请部门：

起止时间： 年 月至 年 月

项目负责人：

联系电话：

申请日期： 年 月

一、目的和意义

1.1 项目背景与需求

近年来，以深度学习为基础的大型预训练语言模型（Large Language Models,
LLMs）如GPT系列、BERT、LLaMA等在自然语言处理领域取得了突破性进展，通过海量数据的预训练和超大规模参数量，这些模型展现出强大的通用语言理解与生成能力，在机器翻译、文本摘要、问答系统、内容创作等众多任务中表现出色，引领了人工智能技术的新浪潮。然而，这些通用大模型在面对特定专业领域任务时，往往存在知识覆盖不足、专业术语理解偏差、领域特定逻辑推理能力欠缺、输出风格不符合行业特点等问题，难以直接满足垂直场景的应用需求。	#chunk_index	)!document_titlereport.txt6
	#Udocument_id464f8fd8-ee68-4cd2-9b8a-8ddfa50;
+<0F><0F><0F><0F><0F>Hp^<0F><0F>"<0E><0E>
8<0E><0E><0E><0E><0E>+AhSz
+
chroma:document
#
chunk_index
)
document_title
#
document_id

file_type
)
document_title

file_type
+
chroma:document
#
chunk_index
#
document_id
#
document_id
#
chunk_index
)
document_title

+
chroma:document

file_type
+
chroma:document

#
document_id	
#
chunk_index
)
document_title

file_type	
file_type	+
chroma:document	#
chunk_index	)
document_title	#	document_id

<0F><0F>

<0F><0F>'U	02f108e2-e6b2-428a-a613-8001f90acf31
##"



<0F><0F><0F><0F><0F><0F>#

chunk_index#

chunk_index#

chunk_index#	
chunk_index#
chunk_index

<EFBFBD>
<EFBFBD>	T	!<08><07>q:<06>c<05>v`+!<02>xC
<01>
E<00><00><00>!99
<01>Mtableembedding_fulltext_idxembedding_fulltext_idxCREATE TABLE 'embedding_fulltext"<00>!99
<01>Mtableembedding_fulltext_idxembedding_fulltext_idxCREATE TABLE 'embedding_fulltext_idx'(segid, term, pgno, PRIMARY KEY(segid, term)) WITHOUT ROWID<49> ;;
<01>!tableembedding_fulltext_dataembedding_fulltext_dataCREATE TABLE 'embedding_fulltext_data'(id INTEGER PRIMARY KEY, block BLOB)t11<08>tableembedding_fulltextembedding_fulltextCREATE VIRTUAL TABLE embedding_fulltext USING fts5(id, string_value)3G!
indexsqlite_autoindex_max_seq_id_1max_seq_idv!!
<01>7tablemax_seq_idmax_seq_idCREATE TABLE max_seq_id (
    segment_id TEXT PRIMARY KEY,
    seq_id BLOB NOT NULL
)CW1
indexsqlite_autoindex_embedding_metadata_<61>11
<01>9tableembedding_metadataembedding_metadataCREATE TABLE embedding_metadata (
    id INTEGER REFERENCES embeddings(id),
    key TEXT NOT NULL,
    string_value TEXT,
    int_value INTEGER,
    float_value REAL, bool_value INTEGER,
    PRIMARY KEY (id, key)
)3G!
indexsqlite_autoindex_embeddings_1embeddings<18>!!
<01>qtableembeddingsembeddingsCREATE TABLE embeddings (
    id INTEGER PRIMARY KEY,
    segment_id TEXT NOT NULL,
    embedding_id TEXT NOT NULL,
    seq_id BLOB NOT NULL,
    created_at TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP,
    UNIQUE (segment_id, embedding_id)
)/C
indexsqlite_autoindex_segments_1segments<16>9
<01>EtablesegmentssegmentsCREATE TABLE "segments" (
    id TEXT PRIMARY KEY,
    type TEXT NOT NULL,
    scope TEXT NOT NULL,
    collection TEXT REFERENCES collection(id) NOT NULL
)=Q+
indexsqlite_autoindex_maintenance_log_1maintenance_log<06>++
<01>atablemaintenance_logmaintenance_logCREATE TABLE maintenance_log (
  id INT PRIMARY KEY,
  timestamp INT NOT NULL,
  operation TEXT NOT NULL
)5I#
indexsqlite_autoindex_collections_2collections5I#
indexsqlite_autoindex_collections_1collections<14>C##
<01>MtablecollectionscollectionsCREATE TABLE "collections" (
    id TEXT PRIMARY KEY, -- unique globally
    name TEXT NOT NULL, -- unique per database
    dimension INTEGER,
    database_id TEXT NOT NULL REFERENCES databases(id) ON DELETE CASCADE, config_json_str TEXT, schema_str TEXT,
    UNIQUE (name, database_id)
)1E
indexsqlite_autoindex_databases_2databases1E
indexsqlite_autoindex_databases_1databases<11>5
<01>9tabledatabasesdatabasesCREATE TABLE databases (
    id TEXT PRIMARY KEY, -- unique globally
    name TEXT NOT NULL, -- unique per tenant
    tenant_id TEXT NOT NULL REFERENCES tenants(id) ON DELETE CASCADE,
    UNIQUE (tenant_id, name) -- Ensure that a tenant has only one database with a given name
)-A
indexsqlite_autoindex_tenants_1tenants\

<01>tabletenantstenantsCREATE TABLE tenants (
    id TEXT PRIMARY KEY,
    UNIQUE (id)
)?S-
indexsqlite_autoindex_segment_metadata_1segment_metadata
<0A>--
<01>ktablesegment_metadatasegment_metadataCREATE TABLE segment_metadata (
    segment_id TEXT  REFERENCES segments(id) ON DELETE CASCADE,
    key TEXT NOT NULL,
    str_value TEXT,
    int_value INTEGER,
    float_value REAL, bool_value INTEGER,
    PRIMARY KEY (segment_id, key)
)EY3
indexsqlite_autoindex_collection_metadata_1collection_metadata	<09>-33
<01>
tablecollection_metadatacollection_metadataCREATE TABLE collection_metadata (
    collection_id TEXT REFERENCES collections(id) ON DELETE CASCADE,
    key TEXT NOT NULL,
    str_value TEXT,
    int_value INTEGER,
    float_value REAL, bool_value INTEGER,
    PRIMARY KEY (collection_id, key)
)<29>&''
<01>tableacquire_writeacquire_writeCREATE TABLE acquire_write (
                id INTEGER PRIMARY KEY,
                lock_status INTEGER NOT NULL
            )3G!
indexsqlite_autoindex_migrations_1migrations<03>/
!!
<01>)tablemigrationsmigrationsCREATE TABLE migrations (
                dir TEXT NOT NULL,
                version INTEGER NOT NULL,
                filename TEXT NOT NULL,
                sql TEXT NOT NULL,
                hash TEXT NOT NULL,
                PRIMARY KEY (dir, version)
            )
y<00>4
<EFBFBD>
<EFBFBD>	<09>	T<08>b<06>g<04><03>8
v<00><0E>2<00>3<00>G2Q=
<01>
indexembedding_metadata_array_key_floatembedding_metadata_array+CREATE INDEX embedding_metadata_array_key_float
    ON embedding_metadata_array (key, float_value) WHERE float_value IS NOT NULL<4C>?1M=
<01>
indexembedding_metadata_array_key_intembedding_metadata_array*CREATE INDEX embedding_metadata_array_key_int
    ON embedding_metadata_array (key, int_value) WHERE int_value IS NOT NULL<4C>K0S=
<01>indexembedding_metadata_array_key_stringembedding_metadata_array)CREATE INDEX embedding_metadata_array_key_string
    ON embedding_metadata_array (key, string_value) WHERE string_value IS NOT NULL<4C>/K=
<01>9indexembedding_metadata_array_id_keyembedding_metadata_arrayCREATE INDEX embedding_metadata_array_id_key
    ON embedding_metadata_array (id, key)<29>.==
<01>)tableembedding_metadata_arrayembedding_metadata_array#CREATE TABLE embedding_metadata_array (
    id INTEGER NOT NULL REFERENCES embeddings(id),
    key TEXT NOT NULL,
    string_value TEXT,
    int_value INTEGER,
    float_value REAL,
    bool_value INTEGER
)<29>3-K1
<01>windexembedding_metadata_string_valueembedding_metadata"CREATE INDEX embedding_metadata_string_value ON embedding_metadata (key, string_value) WHERE string_value IS NOT NULL<4C>/,I1
<01>qindexembedding_metadata_float_valueembedding_metadataCREATE INDEX embedding_metadata_float_value ON embedding_metadata (key, float_value) WHERE float_value IS NOT NULL<4C>'+E1
<01>eindexembedding_metadata_int_valueembedding_metadataCREATE INDEX embedding_metadata_int_value ON embedding_metadata (key, int_value) WHERE int_value IS NOT NULL<4C>*MM
<01>+tableembedding_fulltext_search_configembedding_fulltext_search_config(CREATE TABLE 'embedding_fulltext_search_config'(k PRIMARY KEY, v) WITHOUT ROWID<49> )OO
<01>/tableembedding_fulltext_search_docsizeembedding_fulltext_search_docsize'CREATE TABLE 'embedding_fulltext_search_docsize'(id INTEGER PRIMARY KEY, sz BLOB)<29>(OO
<01>%tableembedding_fulltext_search_contentembedding_fulltext_search_content&CREATE TABLE 'embedding_fulltext_search_content'(id INTEGER PRIMARY KEY, c0)<29>.'GG
<01>[tableembedding_fulltext_search_idxembedding_fulltext_search_idx%CREATE TABLE 'embedding_fulltext_search_idx'(segid, term, pgno, PRIMARY KEY(segid, term)) WITHOUT ROWID<49>&II
<01>/tableembedding_fulltext_search_dataembedding_fulltext_search_data$CREATE TABLE 'embedding_fulltext_search_data'(id INTEGER PRIMARY KEY, block BLOB)<29>%??
<01>Ctableembedding_fulltext_searchembedding_fulltext_searchCREATE VIRTUAL TABLE embedding_fulltext_search USING fts5(string_value, tokenize='trigram')3G!
indexsqlite_autoindex_max_seq_id_1max_seq_ido!!
<01>)tablemax_seq_idmax_seq_idCREATE TABLE max_seq_id (
    segment_id TEXT PRIMARY KEY,
    seq_id INTEGER)CW1
indexsqlite_autoindex_embedding_metadata_1embedding_metadata<02>11
<01>9tableembedding_metadataembedding_metadataCREATE TABLE embedding_metadata (
    id INTEGER REFERENCES embeddings(id),
    key TEXT NOT NULL,
    string_value TEXT,
    int_value INTEGER,
    float_value REAL, bool_value INTEGER,
    PRIMARY KEY (id, key)
)3G!
indexsqlite_autoindex_embeddings_1embeddings<18>!!
<01>qtableembeddingsembeddingsCREATE TABLE embeddings (
    id INTEGER PRIMARY KEY,
    segment_id TEXT NOT NULL,
    embedding_id TEXT NOT NULL,
    seq_id BLOB NOT NULL,
    created_at TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP,
    UNIQUE (segment_id, embedding_id)
)/C
indexsqlite_autoindex_segments_1segments<16>9
<01>EtablesegmentssegmentsCREATE TABLE "segme<6D>4;;
<01>Gtableembeddings_queue_configembeddings_queue_config.CREATE TABLE embeddings_queue_config (
    id INTEGER PRIMARY KEY,
    config_json_str TEXT
)<29>03--
<01>tableembeddings_queueembeddings_queue-CREATE TABLE embeddings_queue (
    seq_id INTEGER PRIMARY KEY,
    created_at TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP,
    operation INTEGER NOT NULL,
    topic TEXT NOT NULL,
    id TEXT NOT NULL,
    vector BLOB,
    encoding TEXT,
    metadata TEXT
)
<02><06><02>Y	X
<0A><0F>
H	<08>j<0F>
}	:<06>L
<0A>
<0A>G<06><06><00>w+<2B>Q
chroma:document六、项目承担团队的条件

项目团队具备人工智能、大数据等领域的技术背景，具备财务信息系统开发经验，具备充足的GPU计算资源和完善的开发测试环境。

七、项目进度安排

第1-2月：项目启动、需求分析；第3-4月：数据收集、清洗；第5-7月：数据集生成；第8-10月：模型训练；第11-12月：系统开发；第13-14月：优化整理；第15-16月：验收转化。

八、项目经费预算

本项目经费预算根据实际研究工作需要编制，包括人工费、设备使用费、业务费、场地使用费、专家咨询费等科目。

分管领导审核意见：

（对经费预算是否合理，有无其他经费来源，能否保证研究计划实施所需的人力，工作时间等基本条件提出具体意见）

分管领导（签字）： 年 月 日)!
document_titlereport.txt4#U
document_id464f8fd8-ee68-4cd2-9b8a-8ddfa50fbfb2
file_typetxt)!
document_titlereport.txt
file_typetxt<13>]+<2B>
chroma:document3.2 项目研究内容理论和实践依据

理论依据包括国家战略层面的政策支持和成熟的技术理论体系。实践依据包括大模型微调技术在财务等垂直领域的成功案例。

3.3 项目研究的关键和难点

关键点包括高质量数据集构建、高效微调策略适配、知识精准注入与幻觉抑制、效果评估体系建设。难点集中在数据处理、微调策略、知识注入和评估体系四个方面。

?4#U
document_id464f8fd8-ee68-4cd2-9b8a-8ddfa50fbfb24#U
document_id464f8fd8-ee68-4cd2-9b8a-8ddfa50fbfb2)!
document_titlereport.txt
<0A>j+<2B>7
chroma:document第一阶段（2018年前）：传统迁移学习与微调雏形阶段。模型适配多采用传统迁移学习思路，将通用数据集上训练的基础模型迁移至特定任务场景。

第二阶段（2018-2020年）：预训练-微调范式确立阶段。2018年谷歌提出BERT模型，首次构建"预训练通用知识+下游任务微调"的技术框架。

第三阶段（2020-2022年）：高效微调技术爆发阶段。LoRA、QLoRA、Adapter等参数<E58F82>:
file_typetxt<0B>+<2B>g
chroma:document模型微调（Fine-tuning）技术作为将通用大模型适配到特定场景的关键手段，通过在领域相关数据上进一步训练模型参数，使模型能够吸收领域知识、适应特定任务要求，从而显著提升模型在目标任务上的性能表现。随着大模型参数规模的不断扩大，传统的全参数微调方式面临着计算资源消耗大、存储成本高、容易产生灾难性遗忘等挑战，因此，参数高效<E9AB98><E69588>74#U
document_id464f8fd8-ee68-4cd2-9b8a-8ddfa50fbfb2	)!
document_titlereport.txt
file_typetxt
file_typetxt<05>y+<2B>U
chroma:document远光软件股份有限公司科技项目可行性研究报告

项目名称：大模型微调技术研究与应用

申请部门：

起止时间：年至年

项目负责人：

联系电话：

申请日期：年 月

大模型微调技术可行性研究报告

远光软件股份有限公司科技项目可行性研究报告

项目名称： 大模型微调技术研究与应用

申请部门：

起止时间： 年 月至 年 月

项目负责人：

联系电<EFBFBD><EFBFBD>4)!
document_titlereport.txt3#U	document_id464f8fd8-ee68-4cd2-9b8a-8ddfa50fbfb2
<0F>

1
<04>I一
<04>@大
T申
*"G(联
Cm<02><>
1g<02><>
<04>V
<01>
d项
&B-1.
<04>Jll
<04>一、
<04>A大模
U申请
+"G(联系
Dm<05><>止
2g<05><>年
<04>W<04>光
e项目
&B-
 la
<04>tmo
<04>}大模
<04><03><> 
<08>月

RT至
<04>项目
<04>N
,
l
<04>
.1 
<04>L
1 项
<04>M.1
<04>K
age
<04>zma
<04>ng
<04>vrg
<04>p等在
<04>
ber
<04>
del
<04>
e l
<04>s
m
<04>|ls
<04>
rt
<04>
ge 
<06>rpt
<04>ua
<04>x
lam
<04>
n
<04>u
r
<04>ola
<04>
m
<04>ms
<04>s,
<04>
ma等
<04>od
<04>~s）
<04>
ngu
<04>w
ode
<04>
pt系
<04>

rge
<04>qt、
<04>
s,

<04>）如
<04>	
t、l
<04>系列
<04>
uag
<04>y
、be
<04>ll
<04>专业
<04>&内容
<04>g文本
<04>]目的
<04>C输出
<04><问答
<04>b<05><>域
<04>/<07>然而
<04>
	一、目
<04>B<07>符合
<04>A足、
<04>$<07>应用
'g生成
<04>R需求
<04>S<07>业术
<04>'领
<04><07>术语
<04>(特点
<04>E领域
<04><07>表现
<04>q<07>基础
<04>a<04><>


<04>H<07>为基
<04>`<08><>人工
<04>y突破
<04>(<07>模型
<04>C通用
<04>	<07>工智
<04>z：

Am<08><>深度
<04>\直接
<04>M<07>股份
f<07>务中
<04>o时
<04><07>有限
f<08><>多任
<04>m<08><>等众
<04>k
	偏差、
<04>-<08><>软件
f<07>司科

f<08><>容创
<04>h<08><>强大
<04>H色，
<04>t风格
<04>><06><>、b
<04><07>作等
<04>j<08><>欠缺
<04>9，在
<04>V<07>中表
<04>p时，
<04><08><>数量
<04>><07>得了
<04>&<07>行性
O<07>科技
f<08><>行业
<04>C<07>称：
f<04><>


O<08><>意义
<04>F超大
<04>9<08><>翻译
<04>Z<08><>机器
<04>X知识
<04>自然
<04>面对
<04><07>景的
<04>T<08><>直场
<04>R<07>在面
<04><05><>现
<04>E<05><>调
 :/预训
<04>f（l
<04>m<08><>任务
<04>取得
<04>%特定
<04>1<07>础的
<04>b<08><>理领
<04>"<07>任务
<04>n<07>型预
<04>e模型

:/<2F>的通
<04>J规模
<04>;<04><>gp
<04><08><>在知
<04><07>习为
<04>_<08><>专业
<04>逻辑
<04>3<07>创作
<04>i<08><>特定
<04><08><>现出
<04>F，通
<04>-<08><>智能
<04>{<07>、领
<04>.<04><>


: 月
QO来，
<04>Y至年
8<06><>用

(g需
<04>W<07>学习
<04>^<08><>领了
<04>w<07>大的
<04>I<08><>存在
<04><05><>存
<04><07>了突
<04>'<07>调技
!:/
	性研究
O进展
<04>+<06><>义

<04>G<08><>能力
<04>T<08><>术可
[的
<04>~<02><>
#g项目

f<05>告

O<08><>的预
<04>4<08><>满足
<04>O<07>理能
<04>6<08><>要、
<04>`<08><>据的
<04>3量，
<04>?<08><>本摘
<04>^<07>浪潮
<04>
<08><>期：
Nm<07>间：
5g，往
<04><08><>与需
<04>R的应
<04>U<07>能技
<04>|<04><>


ST至 
<04> <07>限公
f<05>： 
<04>:年
O<07>摘要
<04>_<07>可行
\的新
<04><05><>究
$g语理
<04>)<07>器翻
<04>Y<08><>，以
<04>Z<08><>不符
<04>@<08><>参数
<04>=<05><>在
<04>
<02><>
<04>D<02><>
:/（
<04>l<08><>缺、
<04>:<08><>时间
4g<04><>


<04>U<08><>潮。
<04><07>量数
<04>1<08><>度学
<04>]<08><>足垂
<04>P<08><>。然
<04>
	点等问
<04>G<08><>而，
<04><05><>言
<04><08><>定专
<04>逻
<04>2点等
<04>F<08><>出强
<04>G色
<04>s<08><>能力
<04>7<05><>与
<04>P偏
<04>+领域
<04>#<08><>成能
<04>S<03>


)g大模
<04>语言
<04>M需求
<04>X<07>请日
Lm部
,g<07>话：
Gm<08><>和意
<04>E<05><>型
<04>d<05><>用
<04>V新浪
<04>通用
<04>K<05><>训
<04>5<08><>不足
<04>#<07>可行
f<05><>称
f的和
<04>D背景
<04>P<05><>责
>m<07>场景
<04>S接满
<04>N<08><>识覆
<04> <08><>究与
%g报
O<07>性进
<04>*<08><>的大
<04>c<08><>技项
f<05>： 
<04>大
<08><>与应
&g报告
O<08><>破性
<04>)<08><>合行
<04>B<08><>众多
<04>l在自
<04>问题
<04>H<07>系统
<04>d<08><>列、
<04>电话
Fm<05><>、
<04>e<08><>和超
<04>8语言
<04>i<07>、内
<04>f<08><>、输
<04>;<08><>译、
<04>[
	而，这
<04><08><>系电
Em<08><>份有
f<08><>景与
<04>Q<07>力欠
<04>8，
<04>U技术
<04>}<08><>然语
<04><05> 年
<04>!年

9<08><>，引
<04>u<08><>业特
<04>D性研
O<07>现出
<04>r<08><>、问
<04>a<07>盖不
<04>"<08><>模参
<04><<07>与生
<04>Q偏差
<04>,<08><>处理
<04>!模型
<04>k理解
<04>O<08><>练和
<04>7语
<04>h<08><>覆盖
<04>!<07>、文
<04>\<05>：

Hm<07>理解
<04>*言处
<04> 模
<04>j理
<04>N<07>日期
Mm部门
-g<08><>技术
":/<08><>责人
?m<07>人：
@m												
	
			
		



	






	
















		



	







		

				
	

C<><43><EFBFBD><EFBFBD><EFBFBD>8<><38><EFBFBD><EFBFBD><EFBFBD>B<><42><EFBFBD><EFBFBD><EFBFBD>
><3E><><EFBFBD><EFBFBD><EFBFBD>=<3D><><EFBFBD><EFBFBD><EFBFBD>
9<><39><EFBFBD><EFBFBD><EFBFBD>D<><44><EFBFBD><EFBFBD><EFBFBD>
<05>6<><36><EFBFBD><EFBFBD><EFBFBD>
5

	<0F><0F><0F><0F><0F><0F><0F><0F><0F><0F>

	

0<><30>

	

0<><30>

	

0<><30>

	
0<><30>	


第二阶段（2018-2020年）：预训练-微调范式确立阶段。2018年谷歌提出BERT模型，首次构建"预训练通用知识+下游任务微调"的技术框架。

第三阶段（2020-2022年）：高效微调技术爆发阶段。LoRA、QLoRA、Adapter等参数高效微调技术相继出现，将微调参数规模大幅降低。

第四阶段（2022年至今）：垂直领域深化与协同优化阶段。"基座模型+领域微调"的架构成为主流，微调技术与知识图谱进一步融合。

2.2 国内外研究水平现状和发展趋势

国际层面，Hugging
Face、DeepSpeed等开源社区为参数高效微调技术的普及提供了重要支撑。国内层面，阿里云基于通义千问进行财税领域定制微调，验证了微调技术在财务领域的应用价值。

三、项目的理论和实践依据

3.1 项目研究内容原理简述

本项目采用"基座模型+领域适配"分层微调架构，选取开源基座模型，针对财务问答场景特性采用LoRA参数高效微调策略。<E795A5>q<00>g模型微调（Fine-tuning）技术作为将通用大模型适配到特定场景的关键手段，通过在领域相关数据上进一步训练模型参数，使模型能够吸收领域知识、适应特定任务要求，从而显著提升模型在目标任务上的性能表现。随着大模型参数规模的不断扩大，传统的全参数微调方式面临着计算资源消耗大、存储成本高、容易产生灾难性遗忘等挑战，因此，参数高效微调（Parameter-Efficient
Fine-Tuning,
PEFT）方法如LoRA、Adapter、Prefix-tuning等技术应运而生，为低成本、高效率的大模型领域适配提供了新的技术路径。

本项目旨在探索适合特定领域特点的高效微调策略，解决数据稀缺性、专业术语理解、领域知识融合等关键技术问题，提升模型在特定场景下的准确性、可靠性和实用性。

项目成果将对该现状和技术发展的作用主要体现在技术推动作用和应用落地支撑两方面。

二、国内外研究水平综述

2.1 技术发展历史简要回顾

大模型微调技术的发展历程分为四个阶段：<EFBFBD>h
<00>U远光软件股份有限公司科技项目可行性研究报告

项目名称：大模型微调技术研究与应用

申请部门：

起止时间：年至年

项目负责人：

联系电话：

申请日期：年 月

大模型微调技术可行性研究报告

远光软件股份有限公司科技项目可行性研究报告

项目名称： 大模型微调技术研究与应用

申请部门：

起止时间： 年 月至 年 月

项目负责人：

联系电话：

申请日期： 年 月

一、目的和意义

1.1 项目背景与需求

近年来，以深度学习为基础的大型预训练语言模型（Large Language Models,
LLMs）如GPT系列、BERT、LLaMA等在自然语言处理领域取得了突破性进展，通过海量数据的预训练和超大规模参数量，这些模型展现出强大的通用语言理解与生成能力，在机器翻译、文本摘要、问答系统、内容创作等众多任务中表现出色，引领了人工智能技术的新浪潮。然而，这些通用大模型在面对特定专业领域任务时，往往存在知识覆盖不足、专业术语理解偏差、领域特定逻辑推理能力欠缺、输出风格不符合行业特点等问题，难以直接满足垂直场景的应用需<EFBFBD>@
<0F><0F><0F><0F><0F><0F>

<0F><0F>
version



I	<09><00>?-
]<5D>KMembeddings_queue00002-embeddings-queue-config.sqlite.sqlCREATE TABLE embeddings_queue_config (
    id INTEGER PRIMARY KEY,
    config_json_str TEXT
);
8fbfe4ffb3e57f1d8bfdc58510a82e85<EFBFBD>W-	C<>Membeddings_queue00001-embeddings.sqlite.sqlCREATE TABLE embeddings_queue (
    seq_id INTEGER PRIMARY KEY,
    created_at TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP,
    operation INTEGER NOT NULL,
    topic TEXT NOT NULL,
    id TEXT NOT NULL,
    vector BLOB,
    encoding TEXT,
    metadata TEXT
);
d3755dfd232be8e8301f4d7fcfb3a486<EFBFBD>Z
[<5B>Mmetadb00006-metadata-array-support.sqlite.sql-- Separate table for exploded array metadata values.
-- Each array element gets its own row, enabling efficient $contains queries.
-- The existing embedding_metadata table (with its PRIMARY KEY (id, key))
-- remains untouched and continues to store scalar metadata values.

CREATE TABLE IF NOT EXISTS embedding_metadata_array (
    id INTEGER NOT NULL REFERENCES embeddings(id),
    key TEXT NOT NULL,
    string_value TEXT,
    int_value INTEGER,
    float_value REAL,
    bool_value INTEGER
);

CREATE INDEX IF NOT EXISTS embedding_metadata_array_id_key
    ON embedding_metadata_array (id, key);
CREATE INDEX IF NOT EXISTS embedding_metadata_array_key_string
    ON embedding_metadata_array (key, string_value) WHERE string_value IS NOT NULL;
CREATE INDEX IF NOT EXISTS embedding_metadata_array_key_int
    ON embedding_metadata_array (key, int_value) WHERE int_value IS NOT NULL;
CREATE INDEX IF NOT EXISTS embedding_metadata_array_key_float
    ON embedding_metadata_array (key, float_value) WHERE float_value IS NOT NULL;
e026f01ea92c1baa1493f4ad5ca7cfe7<0F>3<0F><0F><0F><0F><00>
3<08>U<><1B>12026-03-20 15:37:33persistent://default/default/66d0d002-8e0d-4ba6-8db8-e42407c0dd6bf9aa3603-f9af-4c07-991b-9b102cf4618eϳ<65><CFB3><EFBFBD>󎽟T;<3B><0B><>5<><35>Jx<l<>P<EFBFBD><50><EFBFBD>k=J:<3A>;<3B><>ؼۖ
><3E>}<7D>:<3A>pZ=<3D>fN<66><4E><EFBFBD>e<EFBFBD><65><EFBFBD>J=h53<35><33><EFBFBD>.=k8<6B><38><13><17><>S<EFBFBD>=<15><><EFBFBD><EFBFBD><1E>9<EFBFBD>.<2E>Py<50><e<><65><><3E>J<EFBFBD>[χ<u<><75><<3C><>"<22>-g<04>9<EFBFBD><39>=N<04><><EFBFBD>O<EFBFBD>=7}<7D>=<3D><> <<18><<3C>u<>;l<><6C><(l=_<>P<EFBFBD><50>R<EFBFBD><52><EFBFBD><EFBFBD>;<3B>·<EFBFBD><CE87>g<EFBFBD>=ʯ(<28>kFͻ<46>{]<<3C><><08><<08><><EFBFBD>Z<EFBFBD>և<>߃$<K<03>=<3D>'޼<>o<EFBFBD><#<23><><EFBFBD>y<EFBFBD><79><EFBFBD><EFBFBD>x<EFBFBD><<3C>+d;џ<><D19F>hj\=<3D>FI<46><49><EFBFBD>=<<3C>\<5C><><EFBFBD><EFBFBD>/=<3D><>*<2A><03>5;<3B>h׼<68><D7BC>.<2E><><13><><EFBFBD><EFBFBD>(<28><>f<11><><EFBFBD>+=<3D><>2<EFBFBD>`<60><><EFBFBD>SP=<3D><><V^<11>h/<13><><18><><EFBFBD>=<17>%=<19><><R[<5B><><EFBFBD>=<3D><><1B>W<><57>0<EFBFBD>v=<3D><><EFBFBD><EFBFBD>8<1C><<3C>j<1D>LY<4C><59><EFBFBD><EFBFBD><EFBFBD>:z<><02>I<EFBFBD>,<2C><EFBFBD><7F><+<1D><<3C>8=dv<18><>hʼe<CABC>ҽ><3E><00>$<0C><>%<25>'<27><05><>L<EFBFBD><<3C><1D><><EFBFBD><EFBFBD>l=<3D><1E><><EFBFBD>ٞ<EFBFBD><D99E>GX<47><58>^<5E><><05>
<01><>&=<3D><12><><EFBFBD><EFBFBD><EFBFBD>#<23><>Y<><59><EFBFBD><EFBFBD><<3C>Z<EFBFBD><5<><35><
<0A>M=<3D><><EFBFBD>_2<5F><32><EFBFBD><EFBFBD><EFBFBD><EFBFBD><EFBFBD>u<EFBFBD>-R<<3C><>'	V<><56><<3C><><EFBFBD>=?<3F>ɽ_<C9BD>><3E>x[<5B>=m<><6D>;TI=<3D><>I<EFBFBD><49><EFBFBD>E<EFBFBD><45>uN<75><1F>r<EFBFBD><72>R<EFBFBD>=~<0E>n<EFBFBD>?<<3C><>U<EFBFBD><55>-<2D><><EFBFBD>d=<3D><00>=B<><42><EFBFBD><EFBFBD><1F><>[>;<3B><>~=<3D><><EFBFBD><\M4<4D><34>d<EFBFBD><<3C>{=<3D><>=-<2D><><EFBFBD><EFBFBD>`<60><>u0=<3D>A<EFBFBD><<3C>4<EFBFBD>:_w0<<3C><><EFBFBD><8'<17><><EFBFBD>J<<3C>|<7C><><EFBFBD>{<7B><><EFBFBD><13>=<3D>/<2F><>M0<4D><30>P<EFBFBD><50>=<3D>i~=<3D>-<2D><><EFBFBD><EFBFBD>:<<3C>=<3D>=(;}<7D><>; q<>=<3D>ࣼg<E0A3BC>Y<EFBFBD>լ<11><>`q<><71>)Y<T<>d=EC<45><p<><70><EFBFBD>֊<<3C>^<<3C>K"<22><><EFBFBD><06><>=A=<3D>QP<cۼܰ<DBBC>=R<><52><<3C><>3<EFBFBD>֢P=<3D>B=
<1A><>P<EFBFBD><50><EFBFBD><EFBFBD>[<8<><38><<3C><><EFBFBD>;<3B><11><F4<46><34><EFBFBD>=qd<71><<3C><><EFBFBD><<3C><><07><>5<EFBFBD><35><EFBFBD>M<EFBFBD><4D>曽*<0C><>N?p<>[<5B><><<3C>^<5E>=ޚc=Y<><59><EFBFBD><EFBFBD>=4<><34>ذ<EFBFBD><D8B0>?<3F><><EFBFBD>*<2A><>I<EFBFBD><5rM<72><4D>,D<>!<08><><EFBFBD>&l<mi<6D><69><02><>=<3D>97<39><37>Zy<5A><79>
a= M<>=d<>S<-<2D><><%<25>ۻܺ<><15>߽<EFBFBD>ؔ<EFBFBD><D894>B<EFBFBD><0ü-<2D><EFBFBD><7F><12>=<3D>#<23><>R6߻Z4<5A><34><EFBFBD>s<5p3<70><33><EFBFBD>=<3D>?><3E><>(=<3D><>ͼvG<>[<5B>6<EFBFBD><36>ٹ=OR<4F>C<19><>I<EFBFBD>m<EFBFBD>J<EFBFBD><4A>=(뉽<>C<>"<22><><<<3C><08><>,<2C><>V<EFBFBD><5a[=<3D><>
<EFBFBD>ޑk=<3D>2<EFBFBD>:kKR<4B>=z=<3D>W<EFBFBD><57>,<2C>J<EFBFBD><15>q<EFBFBD>R[T<>QB=<0B>-<2D>Bzr<7A>$n<><6E>w<05><>*<2A>ټ<EFBFBD><D9BC><EFBFBD><<00><><EFBFBD><EFBFBD>Ƚ<EFBFBD>i<EFBFBD><69><EFBFBD><EFBFBD>(=eڳ<65>`]=<3D><>
=<3D>z*<2A><><EFBFBD>0<EFBFBD>SS<<3C><13><>5<><a)нc{=V<>7<EFBFBD>	=z<1F><>*\<i<><69><EFBFBD><EFBFBD><EFBFBD><19><>w<EFBFBD><4<>2<EFBFBD>l<EFBFBD>=<3D>ʣ<EFBFBD><CAA3>A=w<>'='
<0A>=W<><17>#Y<><59><EFBFBD><0C>:<3A><><EFBFBD>=<3D>Q:?k<><6B>~<7E><1A> <20><<3C>jC=<3D><>%<:<3A><><EFBFBD><EFBFBD>mw<6D>'Ǩ<>b\۽<><DBBD>-<2D><><0B>d8<64><38><EFBFBD>뽵^<5E><><17><<3C><>s<<3C>i<EFBFBD><69>&Q<><NK<>
֘<EFBFBD><EFBFBD>C;<3B>a<07><<3C><>μĠ<CEBC><C4A0>><3E>w=<3D>!<21><><EFBFBD><EFBFBD><EFBFBD><EFBFBD>Y<ֽR<D6BD>=B<><42><oJ_<<3C>a<>֮=?<3F>˽<19>}=<3D>:<3A>:<3A><><EFBFBD>=<3D><><EFBFBD>=<0E>d<f=aw;<04>=<3D><>ż<EFBFBD><C5BC>T<EFBFBD>|<10><>	rG<72><47><EFBFBD><EFBFBD>;<3B>f<EFBFBD><<3C><><EFBFBD><EFBFBD><EFBFBD><EFBFBD>%<25>B<EFBFBD><42>=<3D><><EFBFBD>=<3D><1C>;<3B>9=<3D>P<EFBFBD><50>6<EFBFBD><36><EFBFBD>gR<><52>-<1C>8<EFBFBD>=<3D>'<27><15>"<><7F>¼<EFBFBD><C2BC>q<EFBFBD>s<EFBFBD>1D<31><44>gR<67><<3C>v:<3A><>@<40>7	%=<3D><><EFBFBD><EFBFBD><EFBFBD>N<EFBFBD><YT<59>=FLOAT32{"document_id":"464f8fd8-ee68-4cd2-9b8a-8ddfa50fbfb2","chroma:document":"远光软件股份有限公司科技项目可行性研究报告\n\n项目名称：大模型微调技术研究与应用\n\n申请部门：\n\n起止时间：年至年\n\n项目负责人：\n\n联系电话：\n\n申请日期：年 月\n\n大模型微调技术可行性研究报告\n\n远光软件股份有限公司科技项目可行性研究报告\n\n项目名称： 大模型微调技术研究与应用\n\n申请部门：\n\n起止时间： 年 月至 年 月\n\n项目负责人：\n\n联系电话：\n\n申请日期： 年 月\n\n一、目的和意义\n\n1.1 项目背景与需求\n\n近年来，以深度学习为基础的大型预训练语言模型（Large Language Models,\nLLMs）如GPT系列、BERT、LLaMA等在自然语言处理领域取得了突破性进展，通过海量数据的预训练和超大规模参数量，这些模型展现出强大的通用语言理解与生成能力，在机器翻译、文本摘要、问答系统、内容创作等众多任务中表现出色，引领了人工智能技术的新浪潮。然而，这些通用大模型在面对特定专业领域任务时，往往存在知识覆盖不足、专业术语理解偏差、领域特定逻辑推理能力欠缺、输出风格不符合行业特点等问题，难以直接满足垂直场景的应用需求。","file_type":"txt","document_title":"report.t210/


<0F><0F>
><3E>}<7D>:<3A>pZ=<3D>fN<66><4E><EFBFBD>e<EFBFBD><65><EFBFBD>J=h53<35><33><EFBFBD>.=k8<6B><38><13><17><>S<EFBFBD>=<15><><EFBFBD><EFBFBD><1E>9<EFBFBD>.<2E>Py<50><e<><65><><3E>J<EFBFBD>[χ<u<><75><<3C><>"<22>-g<04>9<EFBFBD><39>=N<04><><EFBFBD>O<EFBFBD>=7}<7D>=<3D><> <<18><<3C>u<>;l<><6C><(l=_<>P<EFBFBD><50>R<EFBFBD><52><EFBFBD><EFBFBD>;<3B>·<EFBFBD><CE87>g<EFBFBD>=ʯ(<28>kFͻ<46>{]<<3C><><08><<08><><EFBFBD>Z<EFBFBD>և<>߃$<K<03>=<3D>'޼<>o<EFBFBD><#<23><><EFBFBD>y<EFBFBD><79><EFBFBD><EFBFBD>x<EFBFBD><<3C>+d;џ<><D19F>hj\=<3D>FI<46><49><EFBFBD>=<<3C>\<5C><><EFBFBD><EFBFBD>/=<3D><>*<2A><03>5;<3B>h׼<68><D7BC>.<2E><><13><><EFBFBD><EFBFBD>(<28><>f<11><><EFBFBD>+=<3D><>2<EFBFBD>`<60><><EFBFBD>SP=<3D><><V^<11>h/<13><><18><><EFBFBD>=<17>%=<19><><R[<5B><><EFBFBD>=<3D><><1B>W<><57>0<EFBFBD>v=<3D><><EFBFBD><EFBFBD>8<1C><<3C>j<1D>LY<4C><59><EFBFBD><EFBFBD><EFBFBD>:z<><02>I<EFBFBD>,<2C><EFBFBD><7F><+<1D><<3C>8=dv<18><>hʼe<CABC>ҽ><3E><00>$<0C><>%<25>'<27><05><>L<EFBFBD><<3C><1D><><EFBFBD><EFBFBD>l=<3D><1E><><EFBFBD>ٞ<EFBFBD><D99E>GX<47><58>^<5E><><05>
<01><>&=<3D><12><><EFBFBD><EFBFBD><EFBFBD>#<23><>Y<><59><EFBFBD><EFBFBD><<3C>Z<EFBFBD><5<><35><
<0A>M=<3D><><EFBFBD>_2<5F><32><EFBFBD><EFBFBD><EFBFBD><EFBFBD><EFBFBD>u<EFBFBD>-R<<3C><>'	V<><56><<3C><><EFBFBD>=?<3F>ɽ_<C9BD>><3E>x[<5B>=m<><6D>;TI=<3D><>I<EFBFBD><49><EFBFBD>E<EFBFBD><45>uN<75><1F>r<EFBFBD><72>R<EFBFBD>=~<0E>n<EFBFBD>?<<3C><>U<EFBFBD><55>-<2D><><EFBFBD>d=<3D><00>=B<><42><EFBFBD><EFBFBD><1F><>[>;<3B><>~=<3D><><EFBFBD><\M4<4D><34>d<EFBFBD><<3C>{=<3D><>=-<2D><><EFBFBD><EFBFBD>`<60><>u0=<3D>A<EFBFBD><<3C>4<EFBFBD>:_w0<<3C><><EFBFBD><8'<17><><EFBFBD>J<<3C>|<7C><><EFBFBD>{<7B><><EFBFBD><13>=<3D>/<2F><>M0<4D><30>P<EFBFBD><50>=<3D>i~=<3D>-<2D><><EFBFBD><EFBFBD>:<<3C>=<3D>=(;}<7D><>; q<>=<3D>ࣼg<E0A3BC>Y<EFBFBD>լ<11><>`q<><71>)Y<T<>d=EC<45><p<><70><EFBFBD>֊<<3C>^<<3C>K"<22><><EFBFBD><06><>=A=<3D>QP<cۼܰ<DBBC>=R<><52><<3C><>3<EFBFBD>֢P=<3D>B=
<1A><>P<EFBFBD><50><EFBFBD><EFBFBD>[<8<><38><<3C><><EFBFBD>;<3B><11><F4<46><34><EFBFBD>=qd<71><<3C><><EFBFBD><<3C><><07><>5<EFBFBD><35><EFBFBD>M<EFBFBD><4D>曽*<0C><>N?p<>[<5B><><<3C>^<5E>=ޚc=Y<><59><EFBFBD><EFBFBD>=4<><34>ذ<EFBFBD><D8B0>?<3F><><EFBFBD>*<2A><>I<EFBFBD><5rM<72><4D>,D<>!<08><><EFBFBD>&l<mi<6D><69><02><>=<3D>97<39><37>Zy<5A><79>
a= M<>=d<>S<-<2D><><%<25>ۻܺ<><15>߽<EFBFBD>ؔ<EFBFBD><D894>B<EFBFBD><0ü-<2D><EFBFBD><7F><12>=<3D>#<23><>R6߻Z4<5A><34><EFBFBD>s<5p3<70><33><EFBFBD>=<3D>?><3E><>(=<3D><>ͼvG<>[<5B>6<EFBFBD><36>ٹ=OR<4F>C<19><>I<EFBFBD>m<EFBFBD>J<EFBFBD><4A>=(뉽<>C<>"<22><><<<3C><08><>,<2C><>V<EFBFBD><5a[=<3D><>
<EFBFBD>ޑk=<3D>2<EFBFBD>:kKR<4B>=z=<3D>W<EFBFBD><57>,<2C>J<EFBFBD><15>q<EFBFBD>R[T<>QB=<0B>-<2D>Bzr<7A>$n<><6E>w<05><>*<2A>ټ<EFBFBD><D9BC><EFBFBD><<00><><EFBFBD><EFBFBD>Ƚ<EFBFBD>i<EFBFBD><69><EFBFBD><EFBFBD>(=eڳ<65>`]=<3D><>
=<3D>z*<2A><><EFBFBD>0<EFBFBD>SS<<3C><13><>5<><a)нc{=V<>7<EFBFBD>	=z<1F><>*\<i<><69><EFBFBD><EFBFBD><EFBFBD><19><>w<EFBFBD><4<>2<EFBFBD>l<EFBFBD>=<3D>ʣ<EFBFBD><CAA3>A=w<>'='
<0A>=W<><17>#Y<><59><EFBFBD><0C>:<3A><><EFBFBD>=<3D>Q:?k<><6B>~<7E><1A> <20><<3C>jC=<3D><>%<:<3A><><EFBFBD><EFBFBD>mw<6D>'Ǩ<>b\۽<><DBBD>-<2D><><0B>d8<64><38><EFBFBD>뽵^<5E><><17><<3C><>s<<3C>i<EFBFBD><69>&Q<><NK<>
֘<EFBFBD><EFBFBD>C;<3B>a<07><<3C><>μĠ<CEBC><C4A0>><3E>w=<3D>!<21><><EFBFBD><EFBFBD><EFBFBD><EFBFBD>Y<ֽR<D6BD>=B<><42><oJ_<<3C>a<>֮=?<3F>˽<19>}=<3D>:<3A>:<3A><><EFBFBD>=<3D><><EFBFBD>=<0E>d<f=aw;<04>=<3D><>ż<EFBFBD><C5BC>T<EFBFBD>|<10><>	rG<72><47><EFBFBD><EFBFBD>;<3B>f<EFBFBD><<3C><><EFBFBD><EFBFBD><EFBFBD><EFBFBD>%<25>B<EFBFBD><42>=<3D><><EFBFBD>=<3D><1C>;<3B>9=<3D>P<EFBFBD><50>6<EFBFBD><36><EFBFBD>gR<><52>-<1C>8<EFBFBD>=<3D>'<27><15>"<><7F>¼<EFBFBD><C2BC>q<EFBFBD>s<EFBFBD>1D<31><44>gR<67><<3C>v:<3A><>@<40>7	%=<3D><><EFBFBD><EFBFBD><EFBFBD>N<EFBFBD><YT<59>=FLOAT32{"document_id":"464f8fd8-ee68-4cd2-9b8a-8ddfa50fbfb2","chroma:document":"远光软件股份有限公司科技项目可行性研究报告\n\n项目名称：大模型微调技术研究与应用\n\n申请部门：\n\n起止时间：年至年\n\n项目负责人：\n\n联系电话：\n\n申请日期：年 月\n\n大模型微调技术可行性研究报告\n\n远光软件股份有限公司科技项目可行性研究报告\n\n项目名称： 大模型微调技术研究与应用\n\n申请部门：\n\n起止时间： 年 月至 年 月\n\n项目负责人：\n\n联系电话：\n\n申请日期： 年 月\n\n一、目的和意义\n\n1.1 项目背景与需求\n\n近年来，以深度学习为基础的大型预训练语言模型（Large Language Models,\nLLMs）如GPT系列、BERT、LLaMA等在自然语言处理领域取得了突破性进展，通过海量数据的预训练和超大规模参数量，这些模型展现出强大的通用语言理解与生成能力，在机器翻译、文本摘要、问答系统、内容创作等众多任务中表现出色，引领了人工智能技术的新浪潮。然而，这些通用大模型在面对特定专业领域任务时，往往存在知识覆盖不足、专业术语理解偏差、领域特定逻辑推理能力欠缺、输出风格不符合行业特点等问题，难以直接满足垂直场景的应用需求。","file_type":"txt","document_title":"report.txt","chunk_index":0}

nn<00>3<08>U<><1B>2026-03-20 15:37:33persistent://default/default/66d0d002-8e0d-4ba6-8db8-e42407c0dd6b43324d55-5216-402d-b218-871ea1b49152<35><32>R<EFBFBD><52><EFBFBD><EFBFBD><EFBFBD>P<EFBFBD>(<28>bˆ<62><C288>-޽G<DEBD><0B><><EFBFBD><EFBFBD><EFBFBD>}<7D><>=ߞ<EF98BC><DF9E>0+<2B>=%3=<3D>m<EFBFBD>=ƴ<><C6B4><EFBFBD><EFBFBD><EFBFBD><EFBFBD>\<5C>*=`<60><><EFBFBD>#C=<3D><><EFBFBD><EFBFBD><EFBFBD><EFBFBD><9-u+<<3C>"̽MS<18>̗E<<3C>䶽ke<6B>;<3B>l<EFBFBD><6C>3<EFBFBD>O=<3D>o<EFBFBD><!e<><65><EFBFBD><EFBFBD>x<EFBFBD><13><>=]<5D><><EFBFBD>I
E<EFBFBD>FQ<EFBFBD><EFBFBD><EFBFBD>{<7B><<3C>Sǻ<53><EFBFBD><<11>p<EFBFBD><70><EFBFBD>n=(@>=<06><><EFBFBD><EFBFBD><EFBFBD>-=?<3F>ܻЫJ<f<10><<3C><>s<EFBFBD><73><EFBFBD>"<22>r<1A>-<2D>,<2C><>5<EFBFBD><35>A<EFBFBD><41><EFBFBD><EFBFBD><EFBFBD><EFBFBD>=I<>=<3D>`<60><s<>_<2<><32><EFBFBD>y<EFBFBD><79><<3C><>=<3D><>n<EFBFBD><6E><1B><>p<EFBFBD>:="fW<66><57>8<13>d+<06><15>`<60><0E><>=<3D><>s<EFBFBD><73><EFBFBD>|<]e=<3D><>G<EFBFBD><47><EFBFBD>Ƚ|<7C>ջ<EFBFBD>A<EFBFBD><<3C><><EFBFBD><o<18>=_<>B=<3D>ۦ<EFBFBD>K<EFBFBD>ļ<EFBFBD><C4BC><EFBFBD><EFBFBD>Iy <20>.p8<x<>3:O&<1E><><EFBFBD>Y<EFBFBD>
<01><>=
<EFBFBD><EFBFBD>$<06><><EFBFBD>s=D<>]<5D><><EFBFBD><EFBFBD>=<3D>x=u<08><>EQ+<2B><><EFBFBD>	= <20>ǻ<EFBFBD><C7BB>2<EFBFBD><32>qC=
<0A>;<3B><>7<EFBFBD>9<5<><35>;<3B>ܛ<EFBFBD><DC9B>S<EFBFBD><53>Wq<57><71><EFBFBD><EFBFBD>ob<6F><62><EFBFBD><EFBFBD>=<3D>`<60>=4+<C<><43>{<7B>=<3D>==EO<>03<>\<5C><<3C><>U<EFBFBD><55>N<>vc<76>=>X<>;u:<\<5C><08>G2<47><32><EFBFBD><EFBFBD><11>7<EFBFBD><37><EFBFBD>UX=<3D>}<7D><>~<7E><><EFBFBD><EFBFBD><EFBFBD><EFBFBD><EFBFBD>=<3D>ܥ<<3C><><11><>+<2B><><EFBFBD><EFBFBD><07>e<EFBFBD><65><EFBFBD>|<7C><><EFBFBD>e<EFBFBD><65><EFBFBD>y<EFBFBD><79><EFBFBD>no<6E><큕=;<3B><><EFBFBD><EFBFBD>*E=<3D><><EFBFBD><EFBFBD>-ѧ<><D1A7><EFBFBD>!<21><><EFBFBD>4<<3C>t<EFBFBD><<3C>6<EFBFBD><36><EFBFBD><EFBFBD>=w<15><<3C>(<28><<3C><><EFBFBD><EFBFBD>F<EFBFBD><46><<3C>r	<09>($<24>=w<><z<><7A>o/<2F>;
<0A><><E<><45><<3C>{<7B><>Nu-<2D>zB<05><>3<EFBFBD><33><EFBFBD><7F><EFBFBD>`⍼^ս<><D5BD><EFBFBD><EFBFBD><EFBFBD>73?<3F><>}<7D>=<04>?=<>k=Kq<4B>=<<3C>~<7E><><EFBFBD>%<25><>dO=<1F>=xj<78><6A>5<EFBFBD><35><EFBFBD>C<EFBFBD>μ<EFBFBD>=<3D>;<3B><>\=L'<18><>ܭ<đ<><C491>tr<74><72>C<EFBFBD><43><EFBFBD>{=<3D>7<><37> ɼ<><EFBFBD><7F>h<><68>º='<27><><
n<>;<03><><EFBFBD><EFBFBD>9<EFBFBD><39><EFBFBD><EFBFBD><EFBFBD>5<EFBFBD><35>
<EFBFBD><EFBFBD><EFBFBD><1B><00>Gv<47>;E<10><S<>ٽ4<D9BD><34><EFBFBD><EFBFBD>j=<3D>2w<<3C>Ŧ<EFBFBD>Y<EFBFBD><59><EFBFBD>X<EFBFBD><58>=~D<><44><EFBFBD>=<3D>sJ<73><4A><EFBFBD>w<EFBFBD><17>h=<3D><>c=UIV<<3C>fI<66>f;n<><6E>ʦ<<3C><>ļe3<><33><EFBFBD><EFBFBD><4<><34><EFBFBD><EFBFBD>值<EFBFBD><E580BC><1B>9<EFBFBD>N<d<><64>=<3D>d5=6q"<22>X<><<3C><>#<23><><EFBFBD>d:<3A>㊽<EFBFBD>tq<<3C>Tʼ<54>5<0C>t<><74>a
5<><35>=N
<0A><><EFBFBD>aA=<3D><05>5<EFBFBD>X<EFBFBD>5<EFBFBD>\=]<5D><><EFBFBD><EFBFBD>쉽+<2B><1F><><11><>s<>l<><6C>%!<21><>X<EFBFBD>;I<17>=<3D><>><3E>49=<3D>ϑ<<3C><><EFBFBD>=<3D>fn<66><11>z<EFBFBD><7A><EFBFBD>L<<3C><><EFBFBD><EFBFBD><EFBFBD>ė=<3D>hi<68>q<EFBFBD><18>Gy<17>f<EFBFBD>n=<3D>9^<5E><><EFBFBD>[<<3C><>o;*<2A>Ƽ<EFBFBD><C6BC>н#MY<4D><59>X<EFBFBD>;<3B><><EFBFBD>=<3D><><EFBFBD><EFBFBD><EFBFBD><EFBFBD>.<2E>Sp<53><EFBFBD>z<EFBFBD><7A><EFBFBD><<3C><><EFBFBD><EFBFBD><EFBFBD>I<><49>{<7B>p<EFBFBD>8<EFBFBD>Z<EFBFBD><5A>wA<<3C>(<28>;:<3A>9=<3D><><EFBFBD>;<3B><0B>;<3B>Ȥ=h<><68>=<3D>u<EFBFBD><75>{F<>=<3D><><EFBFBD><EFBFBD><EFBFBD><EFBFBD><EFBFBD><EFBFBD>l<EFBFBD>=<2<18>=@E<>;]Fa<є<><D194><EFBFBD>ł<EFBFBD><C582>T<EFBFBD>=<3D><>b<EFBFBD><62>=<3D>;mx^<5E><><EFBFBD><EFBFBD><EFBFBD><EFBFBD>ʦ;*W<><տ<1A>C<EFBFBD><43><<0E><><!$A=<3D><><<3C>p<EFBFBD><70>⸾<	<09><><EFBFBD>#=<3D><><EFBFBD>=e<><65><tlk<6C><6B><EFBFBD><EFBFBD><DD<>u_<75><5F><EFBFBD>VH=B<>E<EFBFBD><45>ԥ<K<><0B>$J<⧖<><E2A796><EFBFBD>e<EFBFBD><65>k<EFBFBD><6B>|#=<3D><>I<EFBFBD><49><EFBFBD><EFBFBD><<3C>~	=<3D><><EFBFBD><EFBFBD>Dg<07><>C<EFBFBD>=M<><03><>t?<3F><>:<3A><><EFBFBD>2<.<2E><-<2D><><EFBFBD>+F;<3B><><1E>Z<EFBFBD><5A><EFBFBD><EFBFBD>dv<64>c<EFBFBD>$<24>:Pz=X1=<3D><>Z<EFBFBD><5A><EFBFBD>J=N2P<32><50>C<EFBFBD><p<11><<3C>#@<40><><EFBFBD>*<2A><><EFBFBD>X<EFBFBD><58><EFBFBD><EFBFBD>=<3D>p<ޱ<><DEB1>.H<><48><EFBFBD>J<EFBFBD><{<7B><>=<3D><>ֽ<EFBFBD>Z
=<3D>o
<EFBFBD>q<EFBFBD><EFBFBD><<08><>=<3D>O=<3D><>-<2D>I+S=<3D>#0<><30><EFBFBD>W<EFBFBD><57>_#;É_<C389><5F><0B><><EFBFBD>D=<cں<63><16>:<3A><>J<EFBFBD>@T=<3D>)=FLOAT32{"chunk_index":1,"document_id":"464f8fd8-ee68-4cd2-9b8a-8ddfa50fbfb2","file_type":"txt","document_title":"report.txt","chroma:document":"模型微调（Fine-tuning）技术作为将通用大模型适配到特定场景的关键手段，通过在领域相关数据上进一步训练模型参数，使模型能够吸收领域知识、适应特定任务要求，从而显著提升模型在目标任务上的性能表现。随着大模型参数规模的不断扩大，传统的全参数微调方式面临着计算资源消耗大、存储成本高、容易产生灾难性遗忘等挑战，因此，参数高效微调（Parameter-Efficient\nFine-Tuning,\nPEFT）方法如LoRA、Adapter、Prefix-tuning等技术应运而生，为低成本、高效率的大模型领域适配提供了新的技术路径。\n\n本项目旨在探索适合特定领域特点的高效微调策略，解决数据稀缺性、专业术语理解、领域知识融合等关键技术问题，提升模型在特定场景下的准确性、可靠性和实用性。\n\n项目成果将对该现状和技术发展的作用主要体现在技术推动作用和应用落地支撑两方面。\n\n二、国内外研究水平综述\n\n2.1 技术发展历史简要回顾\n\n大模型微调技术的发展历程分为四个阶段："}

<03><03><00>3<08>U<><1B>{2026-03-20 15:37:33persistent://default/default/66d0d002-8e0d-4ba6-8db8-e42407c0dd6b2d7a85e0-2be1-4b26-8aa5-5b4e0409fa0f><15><>np<6E><U<>= r6<72>IV<49><56><EFBFBD><EFBFBD><EFBFBD>=TCj<43><6A>AW<41><57>S;<3B><><EFBFBD><EFBFBD><EFBFBD><EFBFBD>,><3E><><EFBFBD><EFBFBD><EFBFBD><EFBFBD><EFBFBD>=<18><11>'<14><><EFBFBD>'<27><<3C><><EFBFBD><EFBFBD><EFBFBD>=<3D>q<1B>F<EFBFBD>J=<3D>{9<>sAֽ<41><D6BD><EFBFBD><<3C>sk=
<EFBFBD><EFBFBD><EFBFBD>TZ<EFBFBD>=<3D><>><3E><>|l=<3D>X3=<3D><>q;<3B>.+<2B><>X><3E><>V<?<3F>4<EFBFBD>)<29>H=Oݻj{<7B><˗=<3D><>
<EFBFBD><EFBFBD>L<=<3D>C<>g̀<67>%#L=eƱ<65><C6B1><EFBFBD><EFBFBD><EFBFBD><EFBFBD>:<3A>=&<02><><EFBFBD>s<EFBFBD><73>h<EFBFBD>۽<EFBFBD><14><><EFBFBD><EFBFBD>	<09>0dM<Ur<55>;F=e<>u</u<><ѱ <20><><EFBFBD><EFBFBD><T<>=<3D>}Y<>D0<44><30>v<EFBFBD>
=<3D>q<EFBFBD><71><EFBFBD><EFBFBD>E<EFBFBD><45>Iv<49><76>
<EFBFBD><EFBFBD>f<><T& =<3D><10><>#=<0C><><
4<><34><EFBFBD>Z漜<5A>)<29><02>\;<1E><><EFBFBD>P<EFBFBD> =<3D><>H<EFBFBD><48><EFBFBD>׽E<><45><EFBFBD><EFBFBD>ͼͳo<<3C>o=Vʽ6_׽<5F>0<EFBFBD><<3C>@<40><><EFBFBD>=޽<>p=c<><63><EFBFBD><EFBFBD>k<EFBFBD><<3C><><EFBFBD><stλyv<<3C><>p=<3D>`<60><<3C><>w<BF<42><<3C><>*=<16>{<{<7B><>=<3D><><EFBFBD><<3C>)7<><37>~I<>t<EFBFBD>F<EFBFBD>ٖ<EFBFBD><D996><1D><><EFBFBD>"&<26><e<><65><?Sj<53><6A><EFBFBD>N<r<1C><>b6<62><<3C><>k<EFBFBD><6B><EFBFBD>	<09>NvS<<3C>d<EFBFBD><64><EFBFBD><EFBFBD>׼<EFBFBD><D7BC><EFBFBD><<3C>/<1D><>i<EFBFBD>=<3D>.<2E>;<3B>Ș<EFBFBD><C898>U<14><><EFBFBD><0E>5<06>;ei<65><69><EFBFBD>4Љ;J;<3B>Kx<<3C>ɒ;<3B><>8<EFBFBD><38>ݓ<<3C>Ա<EFBFBD><D4B1>𕻛{<7B><><EFBFBD><EFBFBD>(<28><><EFBFBD>輠2<E8BCA0><32><EFBFBD><EFBFBD>
=<3D>N<EFBFBD><4E><EFBFBD>r<EFBFBD><72><EFBFBD>a<><1C><><EFBFBD><EFBFBD>0M<30><4D><EFBFBD><14><>y<EFBFBD>=<3D>U|<7C>-<2D>=<3D>*<05><><EFBFBD>h=&\<5C><>v<><<3C><><EFBFBD><EFBFBD>t<EFBFBD><74>=<3D>2<EFBFBD><KM<><4D>}
<ɼ<>;<3B><>g<EFBFBD><67><EFBFBD> <20>ܺ<EFBFBD><DCBA>UG<0C>k<EFBFBD>߼<EFBFBD><EFBFBD><7F>W<EFBFBD><07>1<EFBFBD><31><EFBFBD>~Rv<52>}<7D>ý;ũ<G<11>0Ɗ=<3D>H<EFBFBD>=<3D><><EFBFBD>;<3B><>⻏<EFBFBD>8<J#<23>=ާ<18><>Em<45><6D><EFBFBD>k<EFBFBD><6B><EFBFBD>w<EFBFBD>s<EFBFBD>=QH<51>;=<3D><><EFBFBD>d<>yR<79><52>(<0B><><EFBFBD>6U<36>)2=
}=_<>Z=<3D><><EFBFBD>;$q=<3D>g<EFBFBD>=<3D><>;E<>@<40>r<EFBFBD>;<3B>㍽1<E38DBD><31><EFBFBD>T(<28><><EFBFBD>}.<a<><61>::<3A>J=<3D><>f<EFBFBD>x<><78><EFBFBD><EFBFBD><EFBFBD><EFBFBD><EFBFBD><EFBFBD><EFBFBD>=<3D>ri<72>"<22><><EFBFBD><EFBFBD>mp<[4<><34>E~=ϐ
<0A>Vw<56><77><EFBFBD>L><3E><>C<f8a=<3D>K<EFBFBD><ô<12><><18><><EFBFBD>6"<22>W<EFBFBD><57><EFBFBD><EFBFBD><EFBFBD><EFBFBD><<3C>B<EFBFBD><42>
<EFBFBD><
;<3B><<3C>'<27><><EFBFBD>=<3D>_<EFBFBD><V~y<>O<EFBFBD><4F><̴<>=#<23><><<3C>'|<7C><>A<EFBFBD><:<3A>9<EFBFBD>5<EFBFBD><35><EFBFBD>+<2B>μ<EFBFBD><CEBC><<3C><>]9<><13><>p
><3E><><00>P=	2<><U<>Q9q\սA@<40><>W<EFBFBD><1A><><EFBFBD><14>26b;<3B>弽Ʃ`<60><><EFBFBD><EFBFBD>=v<><76><<3C>$<24><><EFBFBD>Vh:*	:=sd_<64>O<><4F>ျ<><07><><EFBFBD><EFBFBD><7F><EFBFBD>,<2C><>j<13>`<60><EFBFBD>T<EFBFBD>#=<3D><>G;<3B><16><y<>z<EFBFBD><7A>Չ<EFBFBD>$m'<27><><EFBFBD><EFBFBD><r+<17><><1F>=<3D>:-<2D><>K{;C<>5<EFBFBD>:<3A><EFBFBD><7F><EFBFBD>	<B5<42>;<3B><>U<EFBFBD>f}ԽB<><42><EFBFBD><EFBFBD><EFBFBD><+J=jUY<55><18><><EFBFBD>Kz;w[/=<08><><<3C>6<EFBFBD><36><EFBFBD><EFBFBD><EFBFBD>=we<77><65>ȟ<<3C>M
<<3C>	<09>=I<>H<EFBFBD>z<0F><{<7B><><Yt<>il<69>=<3D>
<0E>W<EFBFBD><57><EFBFBD><EFBFBD>f<0B><><EFBFBD>=)F<><<3C><><EFBFBD>=<3D>񇽜K<11><><EFBFBD><EFBFBD><ؓ<><<3C>~<7E><><EFBFBD><1D>=<3D><><*/<2F>00<>3P=SM<53>=<3D>%Z<>ȢB<C8A2><42><EFBFBD>Ƚo<C8BD>s<EFBFBD>k<19>@{<7B><><EFBFBD><11>tW<74><57><EFBFBD>Z<EFBFBD><5A><EFBFBD>(=_Q<5F><>'Z<>V{<7B>;<3B>"(<28><>D<EFBFBD><<3C><><EFBFBD><EFBFBD>
y1<79><31>1.<2E>j<1D><<3C>&<26><>m<EFBFBD>F<EFBFBD>[<5B><06>S
<0A>=v<><76>=<3D><>,<2C><><EFBFBD>x<EFBFBD><78>8=<3D><>Ͻ󪳻'<27>p<EFBFBD><70><15><><EFBFBD><EFBFBD>b=<3D><>F<EFBFBD>5޻a<><61>N<EFBFBD>=<3D><16><tm<74><6D>S<EFBFBD>z<EFBFBD>*Fڼ<46><DABC>,<2C><>EG<45><47>ƽ<>X9<58>e<EFBFBD>m=`];>^qĽr<C4BD>h<<3C>7f=<3D><>C<<3C><>_=<17><><EFBFBD><13><>g?X=]<5D><><EFBFBD><EFBFBD>r<EFBFBD>;<3B>򻵲p<F2BBB5B2>2<EFBFBD>N=<3D>?<3F><>'<27><><<3C>^=<3D><>ּR<D6BC>=<3D><><EFBFBD>=FLOAT32{"chroma:document":"第一阶段（2018年前）：传统迁移学习与微调雏形阶段。模型适配多采用传统迁移学习思路，将通用数据集上训练的基础模型迁移至特定任务场景。\n\n第二阶段（2018-2020年）：预训练-微调范式确立阶段。2018年谷歌提出BERT模型，首次构建\"预训练通用知识+下游任务微调\"的技术框架。\n\n第三阶段（2020-2022年）：高效微调技术爆发阶段。LoRA、QLoRA、Adapter等参数高效微调技术相继出现，将微调参数规模大幅降低。\n\n第四阶段（2022年至今）：垂直领域深化与协同优化阶段。\"基座模型+领域微调\"的架构成为主流，微调技术与知识图谱进一步融合。\n\n2.2 国内外研究水平现状和发展趋势\n\n国际层面，Hugging\nFace、DeepSpeed等开源社区为参数高效微调技术的普及提供了重要支撑。国内层面，阿里云基于通义千问进行财税领域定制微调，验证了微调技术在财务领域的应用价值。\n\n三、项目的理论和实践依据\n\n3.1 项目研究内容原理简述\n\n本项目采用\"基座模型+领域适配\"分层微调架构，选取开源基座模型，针对财务问答场景特性采用LoRA参数高效微调策略。","file_type":"txt","chunk_index":2,"document_id":"464f8fd8-ee68-4cd2-9b8a-8ddfa50fbfb2","document_title":"report.txt"}

<03><03><00>|3<08>U<><1B>o2026-03-20 15:37:33persistent://default/default/66d0d002-8e0d-4ba6-8db8-e42407c0dd6b12a3b425-1eb6-4dca-8e90-ae3891eaa259<35>f=<3D>4<EFBFBD><34>뿪<<3C>[<5B>;#<23>u<EFBFBD><75>\<5C><><EFBFBD>ݼ(G<><`=<3D>;2<>	<09>L<EFBFBD><4C>=+a%<25><>9;_+	<S<><53><EFBFBD>ȥ<EFBFBD><C8A5><EFBFBD>~<7E><><EFBFBD>=<3D>y<EFBFBD><79>
[<<u<><75><19>m<EFBFBD><6D>;l<><07><>Ԗ<EFBFBD><D496>d<EFBFBD><<3C>A<EFBFBD><41><EFBFBD>i=<3D>`Q=D94<39><34><EFBFBD>^<5E>$N<>=<3D>L<0C><><19><> <11><>.<2E><>\{k=K<>=]<5D>e<EFBFBD><65><EFBFBD><EFBFBD>=<3D><14>;<3B>We<<3C><>>=<3D>᳼S<E1B3BC>J<3d:=<3D>#<0B>-<2D>N<EFBFBD>`<0F><>9<EFBFBD><05><><EFBFBD>뻬p<EBBBAC><<3C>,<2C>;
<0A><><<3C>s<EFBFBD><73><EFBFBD>p1<70><31>8<1C>=r<><72>3<EFBFBD>};<3B>i<EFBFBD>=<3D><>[:z|-=L<07>6~+<2B><>W<17><>d<EFBFBD>;<3B><><07>'<27>C<EFBFBD>E$<02><><1F><ȾL<<3C>EE<45> <20>+<2B>M<EFBFBD><4D><EFBFBD><10>мވ><3E><><EFBFBD>D<<3C>E<EFBFBD><45><EFBFBD><14><><EFBFBD><EFBFBD>Ž_+ʼ<>ֺ=<3D>:,=<1C>ڽH$<24><>U+=:<3A><><EFBFBD><EFBFBD><>=<3D><><08>'<27><>=I<05>=
<01><><EFBFBD><1D><>b?K=<3D>_	=X<><58>=<3D><>t<<10>:=`<60>[<5B><>%K=<3D><><EFBFBD><EFBFBD>.|<7C><>4<EFBFBD><34>鮼a<E9AEBC><61><EFBFBD><<3C>b<EFBFBD>5<EFBFBD><05><>"<22>=N<>.<<3C>k<EFBFBD><6B><1A><17>^<1F>~7<><04>'<27><>!<21><0C><03>H<EFBFBD><1F><><EFBFBD>=<3D>j:<3A>?k=<08>9<<3C>ha<68>dy<10>ә<EFBFBD><D399><EFBFBD>ы<<3C><>ϻz<7F>BG<<06><>=d<>t<4<><34><EFBFBD>Ϫ<EFBFBD><<3C>{<7B><>"<22>O;<3B>L8<4C>E=<0B><><EFBFBD>t<EFBFBD>f<0E><>4<EFBFBD>Q=<3D>ü<EFBFBD>Yv<59><76>"I<><49><EFBFBD>q<><71>ߝ<EFBFBD>FB<<3C><><EFBFBD><EFBFBD>	<>\<5C><><EFBFBD><EFBFBD><EFBFBD><EFBFBD><<3C>6\=s<>D<EFBFBD>4<11><<3C>WP<57><15><><=<3D><<3C><>ǽ<EFBFBD><C7BD><v<>V=<3D>q<EFBFBD><<3C><><EFBFBD><EFBFBD>l<1C><><EFBFBD>Ž-g<><<3C><><EFBFBD><<3C><	<09><>_<EFBFBD><5F><EFBFBD><EFBFBD><EFBFBD><EFBFBD><EFBFBD>V<EFBFBD><56>1<EFBFBD>=^<5E><><a<><61>=yԅ=Ki<4B>;򠳼<><F2A0B3BC><EFBFBD><r!=<3D>.཭˜<E0BDAD>\<5C>K=<13><><<3C><><EFBFBD><EFBFBD>L<EFBFBD>3=#}<7D>;I<><49><EFBFBD><EFBFBD><EFBFBD>
<0A>y0+<2B><><EFBFBD>%<<16><><]<5D>{<7B><11>˼=<3D>?c=<3D>;=<1E><10><>z<EFBFBD><<3C>Ƞ<x<><78><EFBFBD><EFBFBD>R(<28><>a,<<3C>].<O<05><>K=<3D>|<16><>J0<4A><30>P=X<>Y=<3D><>c<EFBFBD><63><07><>\<5C><<1B><><EFBFBD><17><19><>7<EFBFBD><37><EFBFBD><EFBFBD>r<EFBFBD><72>E<EFBFBD>=<3D><>q=<3D><>?=<3D>$<1F>/<2F>߽<1F><0B><>}<7D>;<3B><>K<EFBFBD>5<13><>5<>D1<0C>l<EFBFBD><,<2C>1<EFBFBD><31>L<EFBFBD>:K<>J<EFBFBD>|<7C><>;<3B>e<EFBFBD><65><EFBFBD><EFBFBD>l=Y<><16><><EFBFBD>[<5B>f<>=<3D>V<><56><1D><><EFBFBD><1E><>O#<23>=
<01><>ަ<EFBFBD><DEA6><EFBFBD><EFBFBD><EFBFBD>=<3D><EFBFBD><7F>\<5C>ͼ<EFBFBD>!<21>=<3D><><00><><EFBFBD><10><>}ؼI<D8BC>{<7B><><<3C><;ǀ<>&z<06><><EFBFBD>ǻ+<2B><>=xn
W+=<3D>nf=g<>=<3D>ԧ<EFBFBD><D4A7><EFBFBD>,<2C>C<EFBFBD><43><EFBFBD>a<18><>8<EFBFBD><43<34>=<3D>vC<76>X<EFBFBD><07><><EFBFBD><EFBFBD><EFBFBD><EFBFBD>i<EFBFBD><69>f<EFBFBD>0<EFBFBD><30><EFBFBD><1F>3r<11>fEb<45><62>L<EFBFBD><Mrм|	<09><>Ł<EFBFBD>(<28>I=]ƒ<>$y<><79><EFBFBD><EFBFBD>ռ<EFBFBD>r?<3F><>Z?<3F>=<3D>z=<0C>=n<><<3C>Ԏd<D48E>F<1D>;۹<><M<><4D><EFBFBD><EFBFBD>Uz<55><7A>
P=$<24>	<09>^ۯ<><DBAF>|<7C><><EFBFBD>v<EFBFBD>=KT3=<3D><>h<EFBFBD><68><EFBFBD>m=Ʉ<><C984>n<><<11>	<09><><EFBFBD>9<EFBFBD>a<EFBFBD>&<<3C><><EFBFBD><EFBFBD>H<EFBFBD><48>;j<07><>ډ
<01><0C><><EFBFBD>T<EFBFBD>8=@w
><3E><>.<2E>alF<<3C>G<EFBFBD>=X<><58>=<3D><><EFBFBD><EFBFBD><EFBFBD>ܩ<EFBFBD>Nr<4E>7G <20>=<3D><><EFBFBD><EFBFBD><EFBFBD>wt;<>%<<3C><><EFBFBD><7F>x3=-<2D><><EFBFBD>Cz<13><>e={<1F><>q<EFBFBD>A=*<2A><>=FLOAT32{"chunk_index":3,"file_type":"txt","chroma:document":"3.2 项目研究内容理论和实践依据\n\n理论依据包括国家战略层面的政策支持和成熟的技术理论体系。实践依据包括大模型微调技术在财务等垂直领域的成功案例。\n\n3.3 项目研究的关键和难点\n\n关键点包括高质量数据集构建、高效微调策略适配、知识精准注入与幻觉抑制、效果评估体系建设。难点集中在数据处理、微调策略、知识注入和评估体系四个方面。\n\n四、项目研究内容和实施方案\n\n4.1 项目研究内容详细说明\n\n本项目研究内容包括数据格式研究、微调框架研究、模型微调后评估体系研究三个方面。\n\n4.2 理论研究步骤和试验计划\n\n包括数据处理流程、训练数据生成流程、数据验证流程三个主要环节。\n\n4.3 项目组织方式和协作分工\n\n本项目由项目负责人统筹协调，下设数据组、算法组、应用组三个工作小组。\n\n五、预期目标和成果形式\n\n5.1 项目研究预期达到的目标\n\n技术目标：问答准确率达到85%以上。应用目标：开发财务智能知识问答原型系统。效益目标：替代财务专家70%以上的重复性咨询工作。\n\n5.2 明确叙述提高研究成果的形式\n\n包括技术方案文档、原型系统、训练数据集、微调模型、技术论文/报告等成果形式。","document_title":"report.txt","document_id":"464f8fd8-ee68-4cd2-9b8a-8ddfa50fbfb2"}

uu<00>3<08>U<><1B>2026-03-20 15:37:33persistent://default/default/66d0d002-8e0d-4ba6-8db8-e42407c0dd6bf01c16f1-4dcc-4cce-93d7-b8a5ae8a60fa<66><1C>;_<><<3C>ѭ<EFBFBD><D1AD>:y<><79><EFBFBD><11>hN=<3D><><EFBFBD><EFBFBD><EFBFBD>[<5B><>1Z<31><5A>v<EFBFBD><76><f
#>wM<77>	İ<<3C><>?<3F><><EFBFBD>%<25><><12>;<3B>s<EFBFBD><73><EFBFBD>D<EFBFBD><<3C><>M<EFBFBD>av<<><3E>E<EFBFBD><45>SP<53>@<40><<3C>m<EFBFBD><15><><EFBFBD><0B><><00>==<14>P2=<3D>^<5E>=<3D><>Ƽ<0B>y<EFBFBD><79>Z<EFBFBD>=<3D>><3E>;<3B>t<EFBFBD><74><04><>=<3D><>J=<3D>Ou<d<>u<#<23><><EFBFBD><EFBFBD>a<EFBFBD></<2F><><EFBFBD><EFBFBD>@
<EFBFBD>5<05>;<3B>D<EFBFBD>42,=<3D>)Z=<3D>~#<23><>%<ɽ<>/<2F><>4ͻ
<EFBFBD>=aƼ<<3C><>9B<><42><EFBFBD>Ϡ<EFBFBD><19><04>d<EFBFBD>u<EFBFBD><75>C<EFBFBD>;<3B><1D><Q
'<27><>3<EFBFBD>=<3D><>漇TE<54><45>XýHf,<<3C><><EFBFBD><<18>K<EFBFBD>F<EFBFBD><46><<11>K<EFBFBD>U
<EFBFBD><EFBFBD><EFBFBD><10>yd<<>Y<EFBFBD><1D><><EFBFBD>k<><6B>zj<7A><Z<>><3E>h#}<7D><><EFBFBD><13>S<EFBFBD><08><>/*<aˈ=<0B>Z<EFBFBD>G<EFBFBD>:<3A>D<EFBFBD><44><+<2B><><EFBFBD>
i<><69>'ڙ=?o%<25>2<EFBFBD><32>=!<21><>=񲗼<>&<26><>c<EFBFBD><63>=2<>D<EFBFBD><44>NC=A<><41><<14><"<22><><p<>Y<EFBFBD><59>I<EFBFBD><49><EFBFBD>؇<EFBFBD>B<EFBFBD><42><EFBFBD>x<><78>jg[<5B><>ZV<<3C><>W<EFBFBD>&<26><><^<16><噅<>,g<><67>K<1D>x<1D><><EFBFBD>@<40>Y=<03>:<3A><>؆<EFBFBD><D886><EFBFBD><EFBFBD>=<3D><><EFBFBD><<1C><>=F<><46><<3C><19><>
~ <20><>ީ<EFBFBD><DEA9>q<=)}<7D><\<5C><>	<09>G<EFBFBD>;V_^=wU<55>;<3B>*<2A>¿<EFBFBD><O6b<36>)T<><<3C><><EFBFBD><EFBFBD><EFBFBD><EFBFBD><12>ϧ=<3D><><EFBFBD><EFBFBD><EFBFBD>C<EFBFBD><p<04><><EFBFBD>q伡<0C>;<3B><>p<EFBFBD>tŋ<74><C58B><EFBFBD><EFBFBD><d<>＜<0B>9<EFBFBD><39><<<3C><>n;
z<>=<3D>[<<3C><>B=T/<2F>9ij<$_<1A><><EFBFBD>)<29>57<35><<1E>L=<3D><><07>y[<5B><>H<1B><>Js<4A><73>g<EFBFBD><|L
=<3D>-0<><30>?#;<3B><>ͼ<EFBFBD>2
<01><>Ό<EFBFBD>R<EFBFBD>,=R?<<3C>ɟ=v<>¼f07<30>n<EFBFBD>Ҽn<D2BC><6E><<3C>E<EFBFBD><45>ϞS<CF9E><53><EFBFBD>n=Ҭν<D2AC>&޼<>-<2D>@'<27><>`ˮ<>GN˻U}<0B><><EFBFBD><m<><6D>:O<>ݻmN<6D>;_N<5F><4E><EFBFBD>3=5v<35><76>351<35>b<EFBFBD><62><<3C>_<EFBFBD><<3C>t<03>W<7F><57><EFBFBD><EFBFBD><12><><EFBFBD><EFBFBD>=<3D><><EFBFBD><EFBFBD>ua=2d^<5E>E<EFBFBD>X<EFBFBD><58>Ӡ=<3D><><EFBFBD><<3C>1<EFBFBD><31><EFBFBD>	j<><6A>^̻6C9<43>8<EFBFBD>λ<EFBFBD><1C><><EFBFBD><EFBFBD><02><><15>=<3D><><EFBFBD>=<3D><>h<EFBFBD><68>_D<5F>Ӂ<EFBFBD><D381>jԼ<6A>j<EFBFBD>;<3B><><10><><EFBFBD><EFBFBD><EFBFBD><EFBFBD><EFBFBD>X<EFBFBD>LOڼ<4F><03><]<5D>3<EFBFBD><33>y<18><><EFBFBD>D=<3D><03><>	*μ<>R=d<><64><@X=<3D><><EFBFBD>;<3B>h<EFBFBD><68>eͳ<65><CDB3><EFBFBD>x<EFBFBD><78>b[<5B>^<5E><I<>=<3D><>><3E>Ro<52><1E><><9]="<22><>;<3B>'ý<>
W<>G
<01><<3C>)<29>=<3D>9r<<3C><>ֽ<EFBFBD>&<z8<7A>=#o'<27><><EFBFBD><EFBFBD><EFBFBD>d<><64>ѧ<EFBFBD>=<3D><><EFBFBD><EFBFBD><EFBFBD><EFBFBD>ٽsT<
<10><><EFBFBD><EFBFBD>'<27><><EFBFBD><EFBFBD><EFBFBD><EFBFBD><EFBFBD>=<>_<EFBFBD>J<EFBFBD>x=<3D>|G<	[<00>֢'=<3D><>û<EFBFBD><C3BB>o<EFBFBD>eb<65>—8<C297>2<EFBFBD><32>=<3D><16>:a<><61><EFBFBD>i 2<><32>\9L<39>q<EFBFBD><71><EFBFBD>.<ʶ<><CAB6><EFBFBD>]ӽ.ye<79>_<EFBFBD><5F>="<07>=<3D><>t<EFBFBD><74>e=<3D><><EFBFBD>=<3D>C<EFBFBD><43>
T<><54><EFBFBD>pD<70><44><EFBFBD>
=u|<7C><>O<EFBFBD>B<EFBFBD>]L<>@<40><><<3C><><EFBFBD><EFBFBD><EFBFBD><EFBFBD>+<p<>]=f-<2D><<3C>s<EFBFBD>=S<>ȼ2 <20><G
<EFBFBD><EFBFBD><EFBFBD>U<>+W<><<3C><>>.<17><>'<27><><EFBFBD>S=h<>U=<3D><>_=n7<6E>2<1B><><EFBFBD><EFBFBD>i=2<0B>p<EFBFBD>]=%5<>=^<5E>W<EFBFBD>f<EFBFBD><66><EFBFBD><EFBFBD><00>~<7E><><EFBFBD><EFBFBD>I<7F><49><02><>%J<><4A>3<><33><EFBFBD><1B>-Hi<48>7<EFBFBD>i<EFBFBD><69>
@;{[=<3D><><EFBFBD><EFBFBD><EFBFBD>]<5D><>Ėe<C496>}<7D> <20><>`#<23>Yo=6W<36><57><EFBFBD>=<3D><><EFBFBD><EFBFBD>d<EFBFBD>b1<62><31>5<EFBFBD>I=Q9<51><39>z<><7A>Pγ=ʷὴ<CAB7>t<EFBFBD>/<2F><><EFBFBD>AxV=pܚ=s뼑=<3D>=<3D><><EFBFBD><EFBFBD><05>C=]<5D><>1w<31><<0C><>u<EFBFBD><<3C>'{<rһ<><D2BB>ܽ<EFBFBD><DCBD>к<EFBFBD>Y<EFBFBD>=V<>>Pv{<7B><>]==0<><1C>G<EFBFBD> =F<><46><EFBFBD><EFBFBD>ƻT<C6BB><54><EFBFBD><EFBFBD>;V=!<21>.<2E><>/2<>!<21>5;ݻ<><DDBB><<05><><<3C><>Ҽ<EFBFBD><D2BC>C<<02><1B><><EFBFBD><EFBFBD>9Ih<49>=FLOAT32{"document_title":"report.txt","document_id":"464f8fd8-ee68-4cd2-9b8a-8ddfa50fbfb2","chroma:document":"六、项目承担团队的条件\n\n项目团队具备人工智能、大数据等领域的技术背景，具备财务信息系统开发经验，具备充足的GPU计算资源和完善的开发测试环境。\n\n七、项目进度安排\n\n第1-2月：项目启动、需求分析；第3-4月：数据收集、清洗；第5-7月：数据集生成；第8-10月：模型训练；第11-12月：系统开发；第13-14月：优化整理；第15-16月：验收转化。\n\n八、项目经费预算\n\n本项目经费预算根据实际研究工作需要编制，包括人工费、设备使用费、业务费、场地使用费、专家咨询费等科目。\n\n分管领导审核意见：\n\n（对经费预算是否合理，有无其他经费来源，能否保证研究计划实施所需的人力，工作时间等基本条件提出具体意见）\n\n分管领导（签字）： 年 月 日","chunk_index":4,"file_type":"txt"}<00>：

申请日期： 年 月

一、目的和意义

1.1 项目背景与需求

近年来，以深度学习为基础的大型预训练语言模型（Large Language Models,
LLMs）如GPT系列、BERT、LLaMA等在自然语言处理领域取得了突破性进展，通过海量数据的预训练和超大规模参数量，这些模型展现出强大的通用语言理解与生成能力，在机器翻译、文本摘要、问答系统、内容创作等众多任务中表现出色，引领了人工智能技术的新浪潮。然而，这些通用大模型在面对特定专业领域任务时，往往存在知识覆盖不足、专业术语理解偏差、领域特定逻辑推理能力欠缺、输出风格不符合行业特点等问题，难以直接满足垂直场景的应用需求。
<0F><0F><0F>%
0




<02>K<EFBFBD><4B><EFBFBD><EFBFBD><EFBFBD>
<00><0E>0

1
<04>I一
<04>@大
T申
*"G(联
Cm<02><>
1g<02><>
<04>V
<01>
d项
&B-1.
<04>Jll
<04>一、
<04>A大模
U申请
+"G(联系
Dm<05><>止
2g<05><>年
<04>W<04>光
e项目
&B-
 la
<04>tmo
<04>}大模
<04><03><> 
<08>月

RT至
<04>项目
<04>N
,
l
<04>
.1 
<04>L
1 项
<04>M.1
<04>K
age
<04>zma
<04>ng
<04>vrg
<04>p等在
<04>
ber
<04>
del
<04>
e l
<04>s
m
<04>|ls
<04>
rt
<04>
ge 
<06>rpt
<04>ua
<04>x
lam
<04>
n
<04>u
r
<04>ola
<04>
m
<04>ms
<04>s,
<04>
ma等
<04>od
<04>~s）
<04>
ngu
<04>w
ode
<04>
pt系
<04>

rge
<04>qt、
<04>
s,

<04>）如
<04>	
t、l
<04>系列
<04>
uag
<04>y
、be
<04>ll
<04>专业
<04>&内容
<04>g文本
<04>]目的
<04>C输出
<04><问答
<04>b<05><>域
<04>/<07>然而
<04>
	一、目
<04>B<07>符合
<04>A足、
<04>$<07>应用
'g生成
<04>R需求
<04>S<07>业术
<04>'领
<04><07>术语
<04>(特点
<04>E领域
<04><07>表现
<04>q<07>基础
<04>a<04><>


<04>H<07>为基
<04>`<08><>人工
<04>y突破
<04>(<07>模型
<04>C通用
<04>	<07>工智
<04>z：

Am<08><>深度
<04>\直接
<04>M<07>股份
f<07>务中
<04>o时
<04><07>有限
f<08><>多任
<04>m<08><>等众
<04>k
	偏差、
<04>-<08><>软件
f<07>司科

f<08><>容创
<04>h<08><>强大
<04>H色，
<04>t风格
<04>><06><>、b
<04><07>作等
<04>j<08><>欠缺
<04>9，在
<04>V<07>中表
<04>p时，
<04><08><>数量
<04>><07>得了
<04>&<07>行性
O<07>科技
f<08><>行业
<04>C<07>称：
f<04><>


O<08><>意义
<04>F超大
<04>9<08><>翻译
<04>Z<08><>机器
<04>X知识
<04>自然
<04>面对
<04><07>景的
<04>T<08><>直场
<04>R<07>在面
<04><05><>现
<04>E<05><>调
 :/预训
<04>f（l
<04>m<08><>任务
<04>取得
<04>%特定
<04>1<07>础的
<04>b<08><>理领
<04>"<07>任务
<04>n<07>型预
<04>e模型

:/<2F>的通
<04>J规模
<04>;<04><>gp
<04><08><>在知
<04><07>习为
<04>_<08><>专业
<04>逻辑
<04>3<07>创作
<04>i<08><>特定
<04><08><>现出
<04>F，通
<04>-<08><>智能
<04>{<07>、领
<04>.<04><>


: 月
QO来，
<04>Y至年
8<06><>用

(g需
<04>W<07>学习
<04>^<08><>领了
<04>w<07>大的
<04>I<08><>存在
<04><05><>存
<04><07>了突
<04>'<07>调技
!:/
	性研究
O进展
<04>+<06><>义

<04>G<08><>能力
<04>T<08><>术可
[的
<04>~<02><>
#g项目

f<05>告

O<08><>的预
<04>4<08><>满足
<04>O<07>理能
<04>6<08><>要、
<04>`<08><>据的
<04>3量，
<04>?<08><>本摘
<04>^<07>浪潮
<04>
<08><>期：
Nm<07>间：
5g，往
<04><08><>与需
<04>R的应
<04>U<07>能技
<04>|<04><>


ST至 
<04> <07>限公
f<05>： 
<04>:年
O<07>摘要
<04>_<07>可行
\的新
<04><05><>究
$g语理
<04>)<07>器翻
<04>Y<08><>，以
<04>Z<08><>不符
<04>@<08><>参数
<04>=<05><>在
<04>
<02><>
<04>D<02><>
:/（
<04>l<08><>缺、
<04>:<08><>时间
4g<04><>


<04>U<08><>潮。
<04><07>量数
<04>1<08><>度学
<04>]<08><>足垂
<04>P<08><>。然
<04>
	点等问
<04>G<08><>而，
<04><05><>言
<04><08><>定专
<04>逻
<04>2点等
<04>F<08><>出强
<04>G色
<04>s<08><>能力
<04>7<05><>与
<04>P偏
<04>+领域
<04>#<08><>成能
<04>S<03>


)g大模
<04>语言
<04>M需求
<04>X<07>请日
Lm部
,g<07>话：
Gm<08><>和意
<04>E<05><>型
<04>d<05><>用
<04>V新浪
<04>通用
<04>K<05><>训
<04>5<08><>不足
<04>#<07>可行
f<05><>称
f的和
<04>D背景
<04>P<05><>责
>m<07>场景
<04>S接满
<04>N<08><>识覆
<04> <08><>究与
%g报
O<07>性进
<04>*<08><>的大
<04>c<08><>技项
f<05>： 
<04>大
<08><>与应
&g报告
O<08><>破性
<04>)<08><>合行
<04>B<08><>众多
<04>l在自
<04>问题
<04>H<07>系统
<04>d<08><>列、
<04>电话
Fm<05><>、
<04>e<08><>和超
<04>8语言
<04>i<07>、内
<04>f<08><>、输
<04>;<08><>译、
<04>[
	而，这
<04><08><>系电
Em<08><>份有
f<08><>景与
<04>Q<07>力欠
<04>8，
<04>U技术
<04>}<08><>然语
<04><05> 年
<04>!年

9<08><>，引
<04>u<08><>业特
<04>D性研
O<07>现出
<04>r<08><>、问
<04>a<07>盖不
<04>"<08><>模参
<04><<07>与生
<04>Q偏差
<04>,<08><>处理
<04>!模型
<04>k理解
<04>O<08><>练和
<04>7语
<04>h<08><>覆盖
<04>!<07>、文
<04>\<05>：

Hm<07>理解
<04>*言处
<04> 模
<04>j理
<04>N<07>日期
Mm部门
-g<08><>技术
":/<08><>责人
?m<07>人：
@m												
	
			
		



	






	
















		



	







		

				
	








	
<
	







<05>

--<00>K<EFBFBD><4B><EFBFBD><EFBFBD><EFBFBD>
<00><0E>0

1
<04>I一
<04>@大
T申
*"G(联
Cm<02><>
1g<02><>
<04>V
<01>
d项
&B-1.
<04>Jll
<04>一、
<04>A大模
U申请
+"G(联系
Dm<05><>止
2g<05><>年
<04>W<04>光
e项目
&B-
 la
<04>tmo
<04>}大模
<04><03><> 
<08>月

RT至
<04>项目
<04>N
,
l
<04>
.1 
<04>L
1 项
<04>M.1
<04>K
age
<04>zma
<04>ng
<04>vrg
<04>p等在
<04>
ber
<04>
del
<04>
e l
<04>s
m
<04>|ls
<04>
rt
<04>
ge 
<06>rpt
<04>ua
<04>x
lam
<04>
n
<04>u
r
<04>ola
<04>
m
<04>ms
<04>s,
<04>
ma等
<04>od
<04>~s）
<04>
ngu
<04>w
ode
<04>
pt系
<04>

rge
<04>qt、
<04>
s,

<04>）如
<04>	
t、l
<04>系列
<04>
uag
<04>y
、be
<04>ll
<04>专业
<04>&内容
<04>g文本
<04>]目的
<04>C输出
<04><问答
<04>b<05><>域
<04>/<07>然而
<04>
	一、目
<04>B<07>符合
<04>A足、
<04>$<07>应用
'g生成
<04>R需求
<04>S<07>业术
<04>'领
<04><07>术语
<04>(特点
<04>E领域
<04><07>表现
<04>q<07>基础
<04>a<04><>


<04>H<07>为基
<04>`<08><>人工
<04>y突破
<04>(<07>模型
<04>C通用
<04>	<07>工智
<04>z：

Am<08><>深度
<04>\直接
<04>M<07>股份
f<07>务中
<04>o时
<04><07>有限
f<08><>多任
<04>m<08><>等众
<04>k
	偏差、
<04>-<08><>软件
f<07>司科

f<08><>容创
<04>h<08><>强大
<04>H色，
<04>t风格
<04>><06><>、b
<04><07>作等
<04>j<08><>欠缺
<04>9，在
<04>V<07>中表
<04>p时，
<04><08><>数量
<04>><07>得了
<04>&<07>行性
O<07>科技
f<08><>行业
<04>C<07>称：
f<04><>


O<08><>意义
<04>F超大
<04>9<08><>翻译
<04>Z<08><>机器
<04>X知识
<04>自然
<04>面对
<04><07>景的
<04>T<08><>直场
<04>R<07>在面
<04><05><>现
<04>E<05><>调
 :/预训
<04>f（l
<04>m<08><>任务
<04>取得
<04>%特定
<04>1<07>础的
<04>b<08><>理领
<04>"<07>任务
<04>n<07>型预
<04>e模型

:/<2F>的通
<04>J规模
<04>;<04><>gp
<04><08><>在知
<04><07>习为
<04>_<08><>专业
<04>逻辑
<04>3<07>创作
<04>i<08><>特定
<04><08><>现出
<04>F，通
<04>-<08><>智能
<04>{<07>、领
<04>.<04><>


: 月
QO来，
<04>Y至年
8<06><>用

(g需
<04>W<07>学习
<04>^<08><>领了
<04>w<07>大的
<04>I<08><>存在
<04><05><>存
<04><07>了突
<04>'<07>调技
!:/
	性研究
O进展
<04>+<06><>义

<04>G<08><>能力
<04>T<08><>术可
[的
<04>~<02><>
#g项目

f<05>告

O<08><>的预
<04>4<08><>满足
<04>O<07>理能
<04>6<08><>要、
<04>`<08><>据的
<04>3量，
<04>?<08><>本摘
<04>^<07>浪潮
<04>
<08><>期：
Nm<07>间：
5g，往
<04><08><>与需
<04>R的应
<04>U<07>能技
<04>|<04><>


ST至 
<04> <07>限公
f<05>： 
<04>:年
O<07>摘要
<04>_<07>可行
\的新
<04><05><>究
$g语理
<04>)<07>器翻
<04>Y<08><>，以
<04>Z<08><>不符
<04>@<08><>参数
<04>=<05><>在
<04>
<02><>
<04>D<02><>
:/（
<04>l<08><>缺、
<04>:<08><>时间
4g<04><>


<04>U<08><>潮。
<04><07>量数
<04>1<08><>度学
<04>]<08><>足垂
<04>P<08><>。然
<04>
	点等问
<04>G<08><>而，
<04><05><>言
<04><08><>定专
<04>逻
<04>2点等
<04>F<08><>出强
<04>G色
<04>s<08><>能力
<04>7<05><>与
<04>P偏
<04>+领域
<04>#<08><>成能
<04>S<03>


)g大模
<04>语言
<04>M需求
<04>X<07>请日
Lm部
,g<07>话：
Gm<08><>和意
<04>E<05><>型
<04>d<05><>用
<04>V新浪
<04>通用
<04>K<05><>训
<04>5<08><>不足
<04>#<07>可行
f<05><>称
f的和
<04>D背景
<04>P<05><>责
>m<07>场景
<04>S接满
<04>N<08><>识覆
<04> <08><>究与
%g报
O<07>性进
<04>*<08><>的大
<04>c<08><>技项
f<05>： 
<04>大
<08><>与应
&g报告
O<08><>破性
<04>)<08><>合行
<04>B<08><>众多
<04>l在自
<04>问题
<04>H<07>系统
<04>d<08><>列、
<04>电话
Fm<05><>、
<04>e<08><>和超
<04>8语言
<04>i<07>、内
<04>f<08><>、输
<04>;<08><>译、
<04>[
	而，这
<04><08><>系电
Em<08><>份有
f<08><>景与
<04>Q<07>力欠
<04>8，
<04>U技术
<04>}<08><>然语
<04><05> 年
<04>!年

9<08><>，引
<04>u<08><>业特
<04>D性研
O<07>现出
<04>r<08><>、问
<04>a<07>盖不
<04>"<08><>模参
<04><<07>与生
<04>Q偏差
<04>,<08><>处理
<04>!模型
<04>k理解
<04>O<08><>练和
<04>7语
<04>h<08><>覆盖
<04>!<07>、文
<04>\<05>：

Hm<07>理解
<04>*言处
<04> 模
<04>j理
<04>N<07>日期
Mm部门
-g<08><>技术
":/<08><>责人
?m<07>人：
@m												
	
			
		



	






	
















		



	







		

				
	








		



	

		
<00>调（Parameter-Efficient
Fine-Tuning,
PEFT）方法如LoRA、Adapter、Prefix-tuning等技术应运而生，为低成本、高效率的大模型领域适配提供了新的技术路径。

本项目旨在探索适合特定领域特点的高效微调策略，解决数据稀缺性、专业术语理解、领域知识融合等关键技术问题，提升模型在特定场景下的准确性、可靠性和实用性。

项目成果将对该现状和技术发展的作用主要体现在技术推动作用和应用落地支撑两方面。

二、国内外研究水平综述

2.1 技术发展历史简要回顾

大模型微调技术的发展历程分为四个阶段：




<00>J<EFBFBD><4A><EFBFBD><EFBFBD><EFBFBD>
<00><0E>0

2<04>二<04>大<04> 本<04>
项<04>Z2.<04>fi<04>;pe<04>H二、<04>大模<04>!本项<04>项目<04>[
 技术<04>
,
p<04>G
-ef<04>1tu<0B>7&
.1 <04>
1 技<04>
2.1<04>
ada<04>Vme<04>+pt<04>Xra<04>)、a<04>T
cie<04>6
dap<04>W
e-t
<EFBFBD>7ff<04>2
i<04>`
t<04>Jnt<04>8r-<04>/、<04>[te<04>-
ffi<04>3ic<04>4
n<07>7
x<04>at）<04>K
g,
<04>F等技<04>j）技
ici<04>5en<04>7ne<08>7
g<0F>7&x-<04>b
lor<04>Q
met<04>,
ne-	<09>7g,<04>E等<04>i）in<0E>7&t
<04>9
ora<04>R
par<04>(ef<04>Ire<04>^te<04>Y
r-e<04>0am<04>*、<04>Sef<04>_、p<04>\
t
f<04>:er<06>..un<0C>7&）方<04>L
uni
<0A>7&
x-t<04>c
、ad<04>Upr<04>]专业<04>-可靠<04>Q<05><>内<04><05><>储<04>
<05><>易<04>适应I<05><>域<04>4<05><>效<04>w<03>

<08>O+随着f
	一步训5<07>的性`进一3<07>的准<04>L<07>断扩q<07>业术<04>.<07>术语<04>/<07>方面<04><07>阶段<04>1<07>着计<04>
<07>低成<04>s四个<04>/<05><>通<07>要体<04>m<08><>新的<04><07>、国<04><07>生灾<04><08><>而显S<07>务上^要N<08><>统的v<08><>成本<04>t<07>现在<04>o<07>为将用主<04>k和<04>v<07>模型><08><>了新<04>
	储成本<04><08><>参数y<07>数据0键手%<02><><04><<08><>外研<04><07>数据<04>'<08><>确性<04>N<08><>为四<04>.<07>特定<08><>上的_要求O<07>作用<04>u<08><>模型X<>n<08><>史简<04>程分<04>,<08><>数微z规l高<04>!，;<07>展历<06>的<04>h<07>靠性<04>R<07>简要<04><08><>特定<04><05><>关<04>:<07>收领C<08><>实用<04>U<05><>用<04>x技术<04>e<08><>个阶<04>0<05>顾
<04><07>此，<04><07>内外<04><08><>技术<04>q<05><>索<04>特定<04>G<05><>标[领域,<07>支撑<04>|<07>景下<04>J的"<08><>参数:3<05><>特<04>F<02><>Z<05><>调<03>#能够@适配<05><>域<04>~<08><>特点<04><05><>关.<05><>识F<>r适配<04><08><>研究<04>	<07>吸收B<07>、存<04>	模型Q<><15>(，传t<04><>lo<04>P<08><>储成<04><08><>任务M场景!<21>*领域<04><07>用性<04>V<07>易产<04><08><>该现<04>a<08><>对该<04>`通用<08><>历史<04>程<04>+的作<04>i<08><>综述<04>
<08><>特定K<05><>落<04>y运而<04>n<08><>面临<06><>。
<04><07>调技<04>%<02><>|策<04>!（<04>#<08><>等挑<04>
	性、专<04>,可<04>P<02>
<04>X和实<04>T能表b遗忘<04><08><>本、<04>u高<04>
<05><>将<04>^<07>，因<04><08><>段，'<07>大，s<08><>术作发<06>f2<02><><04>l推<04>r的<04>'路<04>问<04>><08><>战，<04><08><>上进2稀缺<04>)<08><>索适<04><07>动作<04>t<08><>供了<04>升模W<>n<08><>两方<04>~<08><>撑两<04>}<07>领域D<08><>微调<06>$~率的<04>y<07>微调{据上1稀<04>(规模m高效<04>"，使<<08><>扩大r<07>的技<04><07>式面~法如<04>N面。<04><08><>在探<04><08><>产生<04><07>著提U<08><>下的<04>K的关#<08><>、高<04>v项目<04><05><>、<04><07>作为发展<06>g2<05><>运<04>m推动<04>s的发<04>(语理<04>0<05><>径<04>	问题<04>?<08><>将对<04>_<08><>任务]<08><>型参93<02><>Y<>n<02><><02>#能?适<02><><04>}的不o<08><>，参<04><07>训练6<08><>，通(<08><>平综<04><08><>，从Q<06><>如l<04>O<08><>耗大<04><08><>消耗<04>
	灾难性<04><08><>的高<04><08><>定任L场 <20>*领<04>点的<04><08><>和技<04>d<08><>的大<04>z<07>。随e在技<04>p状和<04>c<08><>解、<04>2<08><>灾难<04>，为<04>q<07>主要<04>l和应<04>w<05><>模性。<04>W落地<04>z<08><>，解<04>$<08><>不断p<05><>用<04>j全参x<04>键<EFBFBD>Z<EFBFBD><5A><EFBFBD><EFBFBD><EFBFBD><00>8<02>
0起止时
3g<08><>大规
<04>:<07>、专
<04>%垂直
<04>Q<08><>件股
f<08><>推理
<04>5<07>出风
<04>=<08><>海量
<04>0<07>年来
<04>X<07>些模
<04>B通
<04><07>展，
<04>,<07>光软
f
	通用大
<04>
语
<04>L过海
<04>/<07>辑推
<04>4<08><>门：
.g<08><>数据
<04>2，这
<04>@<06><>：

/g<07>答系
<04>c题，
<04>I<05>： 
<04>年
6<08><>公司
	f<08><>以直
<04>L<06><>求

<04>T。
<04>Y<08><>对特
<04><08><>目可
f<02><>
f背
<04>O<02><>
=m<08><>训练
<06>gQ<07>了人
<04>x域任
<04>取
<04>$特
<04>0<07>，难
<04>J<08><>格不
<04>?
（la
<04>n<05>如g
<04>
<07>以深
<04>[在机
<04>W<05><>领
<04>v<05><>往
<04>这些
<06>AH通过
<04>.<05><>以
<04>K<03>


0	N	 大
<04>
<02><>
<06>!大模
<03><> 
P至
7



	

	

		
		



	

``<00><18><><EFBFBD><EFBFBD><EFBFBD><00>4M
0能够吸A表现c<08><>地支<04>{<08><>提升V<08><>合等<04>9<08><>现。d<08><>体现<04>n回顾<04>求，P<08><>模的n<07>、领<04>3决数<04>&<08><>算资<04><07>练模7<08><>、适H融合<04>8<07>现状<04>b<07>理解<04>1<08><>技术<04>&<05><>式}策略<04>"（f
p<04>&<08><>源消<04><08><>径。<04>
<08><>在领+<07>而生<04>o<07>一步4<03>

<04>
	适合特<04><05><>特J配到提<04>
<07>用大过在*<08><>忘等<04><08><>到特提供<04><08><>手段&<05><>术<04>=<08><>题，<04>@<08><>段：<04>2<08><>着大g<07>性遗<04><08><>性和<04>S<05>。
<04>
临着<04><08><>目成<04>\<02><><04><03>

<04><08><>域特<04><02><>-<02><>E<>r适<04><07>，提<04>A<08><>、容<04>效微<06>#~率<04>x
（fipa<04>'<07>技术<05><>法<04>M<07>为低<04>r<05><>而R<05><>统u<05><>模=参数<04> <05><>此<04>提升<04>B解决<04>%通过)







	

	
	



			

	



<00><>效微调技术相继出现，将微调参数规模大幅降低。

第四阶段（2022年至今）：垂直领域深化与协同优化阶段。"基座模型+领域微调"的架构成为主流，微调技术与知识图谱进一步融合。

2.2 国内外研究水平现状和发展趋势

国际层面，Hugging
Face、DeepSpeed等开源社区为参数高效微调技术的普及提供了重要支撑。国内层面，阿里云基于通义千问进行财税领域定制微调，验证了微调技术在财务领域的应用价值。

三、项目的理论和实践依据

3.1 项目研究内容原理简述

本项目采用"基座模型+领域适配"分层微调架构，选取开源基座模型，针对财务问答场景特性采用LoRA参数高效微调策略。
4<0F><0F><0F>
<EFBFBD>
<EFBFBD>
j
H
3	<09>r\lJ4
#
chunk_index 

)!document_titlereport.txt<78>m
+<2B>7chroma:document第一阶段（2018年前）：传统迁移学习与微调雏形阶段。模型适配多采用传统迁移学习思路，将通用数据集上训练的基础模型迁移至特定任务场景。

第二阶段（2018-2020年）：预训练-微调范式确立阶段。2018年谷歌提出BERT模型，首次构建"预训练通用知识+下游任务微调"的技术框架。

第三阶段（2020-2022年）：高效微调技术爆发阶段。LoRA、QLoRA、Adapter等参数高效微调技术相继出现，将微调参数规模大幅降低。

第四阶段（2022年至今）：垂直领域深化与协同优化阶段。"基座模型+领域微调"的架构成为主流，微调技术与知识图谱进一步融合。

2.2 国内外研究水平现状和发展趋势

国际层面，Hugging
Face、DeepSpeed等开源社区为参数高效微调技术的普及提供了重要支撑。国内层面，阿里云基于通义千问进行财税领域定制微调，验证了微调技术在财务领域的应用价值。

三、项目的理论和实践依据

3.1 项目研究内容原理简述

本项目采用"基座模型+领域适配"分层微调架构，选取开源基座模型，针对财务问答场景特性采用LoRA参数高效微调策略。
file_typetxt<78>

+<2B>gchroma:document模型微调（Fine-tuning）技术作为将通用大模型适配到特定场景的关键手段，通过在领域相关数据上进一步训练模型参数，使模型能够吸收领域知识、适应特定任务要求，从而显著提升模型在目标任务上的性能表现。随着大模型参数规模的不断扩大，传统的全参数微调方式面临着计算资源消耗大、存储成本高、容易产生灾难性遗忘等挑战，因此，参数高效微调（Parameter-Efficient
Fine-Tuning,
PEFT）方法如LoRA、Adapter、Prefix-tuning等技术应运而生，为低成本、高效率的大模型领域适配提供了新的技术路径。

本项目旨在探索适合特定领域特点的高效微调策略，解决数据稀缺性、专业术语理解、领域知识融合等关键技术问题，提升模型在特定场景下的准确性、可靠性和实用性。

项目成果将对该现状和技术发展的作用主要体现在技术推动作用和应用落地支撑两方面。

二、国内外研究水平综述

2.1 技术发展历史简要回顾

大模型微调技术的发展历程分为四个阶段：7	
#Udocument_id464f8fd8-ee68-4cd2-9b8a-8ddfa50fbfb2
#	chunk_index 
)!document_titlereport.txt
file_typetxt	file_typetxt<78>{	+<2B>Uchroma:document远光软件股份有限公司科技项目可行性研究报告

项目名称：大模型微调技术研究与应用

申请部门：

起止时间：年至年

项目负责人：

联系电话：

申请日期：年 月

大模型微调技术可行性研究报告

远光软件股份有限公司科技项目可行性研究报告

项目名称： 大模型微调技术研究与应用

申请部门：

起止时间： 年 月至 年 月

项目负责人：

联系电话：

申请日期： 年 月

一、目的和意义

1.1 项目背景与需求

近年来，以深度学习为基础的大型预训练语言模型（Large Language Models,
LLMs）如GPT系列、BERT、LLaMA等在自然语言处理领域取得了突破性进展，通过海量数据的预训练和超大规模参数量，这些模型展现出强大的通用语言理解与生成能力，在机器翻译、文本摘要、问答系统、内容创作等众多任务中表现出色，引领了人工智能技术的新浪潮。然而，这些通用大模型在面对特定专业领域任务时，往往存在知识覆盖不足、专业术语理解偏差、领域特定逻辑推理能力欠缺、输出风格不符合行业特点等问题，难以直接满足垂直场景的应用需求。	#chunk_index	)!document_titlereport.txt6
	#Udocument_id464f8fd8-ee68-4cd2-9b8a-8ddfa50fbfb2
<05><0F><0F>x
	<09>	<09>	<09>	<09>	l	V<05><00>z
+<2B>Qchroma:document六、项目承担团队的条件

项目团队具备人工智能、大数据等领域的技术背景，具备财务信息系统开发经验，具备充足的GPU计算资源和完善的开发测试环境。

七、项目进度安排

第1-2月：项目启动、需求分析；第3-4月：数据收集、清洗；第5-7月：数据集生成；第8-10月：模型训练；第11-12月：系统开发；第13-14月：优化整理；第15-16月：验收转化。

八、项目经费预算

本项目经费预算根据实际研究工作需要编制，包括人工费、设备使用费、业务费、场地使用费、专家咨询费等科目。

分管领导审核意见：

（对经费预算是否合理，有无其他经费来源，能否保证研究计划实施所需的人力，工作时间等基本条件提出具体意见）

分管领导（签字）： 年 月 日
#
chunk_index 
)!document_titlereport.txt7
#Udocument_id464f8fd8-ee68-4cd2-9b8a-8ddfa50fbfb2
file_typetxt 
)!document_titlereport.txt
file_typetxt<78>`
+<2B>chroma:document3.2 项目研究内容理论和实践依据

理论依据包括国家战略层面的政策支持和成熟的技术理论体系。实践依据包括大模型微调技术在财务等垂直领域的成功案例。

3.3 项目研究的关键和难点

关键点包括高质量数据集构建、高效微调策略适配、知识精准注入与幻觉抑制、效果评估体系建设。难点集中在数据处理、微调策略、知识注入和评估体系四个方面。

四、项目研究内容和实施方案

4.1 项目研究内容详细说明

本项目研究内容包括数据格式研究、微调框架研究、模型微调后评估体系研究三个方面。

4.2 理论研究步骤和试验计划

包括数据处理流程、训练数据生成流程、数据验证流程三个主要环节。

4.3 项目组织方式和协作分工

本项目由项目负责人统筹协调，下设数据组、算法组、应用组三个工作小组。

五、预期目标和成果形式

5.1 项目研究预期达到的目标

技术目标：问答准确率达到85%以上。应用目标：开发财务智能知识问答原型系统。效益目标：替代财务专家70%以上的重复性咨询工作。

5.2 明确叙述提高研究成果的形式

包括技术方案文档、原型系统、训练数据集、微调模型、技术论文/报告等成果形式。
#
chunk_index7
#Udocument_id464f8fd8-ee68-4cd2-9b8a-8ddfa50fbfb27
#Udocument_id464f8fd8-ee68-4cd2-9b8a-8ddfa50fbfb2

**<00>N<EFBFBD><4E><EFBFBD><EFBFBD><EFBFBD>
<00> <0E>0

2<04>
3<04>三<04>国<04>-本<04>,第ELL2.<04>3.<04>fa<04>;三、<04>国际<04>.本项<04>-第三<04><02><>F四<04>Z
 国内<04>项目<04>!
"分层<04>=<05><>座<08>w<EFBFBD>>的技<04><02><><04>
预训y
+下游<04>
领域<08>|<7C>>
-20PL微调[
.1 <04>2 <04>
0-2<04>18G20RG
2<06>G年）T
1 项<04> 8-N年	`
2 国<04>.2<04>0-<04>
1G
2QGG年S2年<06>G年至<04>c）<04>
3.1<04>
8-2O年前
谷h
ace<04>=da<04>8pt<04>:、a<04>6
q<04>0参数<04>]
bern
ce、<04>>
dap<04>9ee<04>A等开<04>I
ed等<04>Hed<04>G
p<04>Bps<04>Crto等<04>=、d<04>?
fac<04><
g
f<04>:gi<04>6in<04>7
hug<04>4
ing<04>8
lor
<EFBFBD>-<08>)
ng
<04>9
ora
<EFBFBD>.<08>)
pee<04>Fsp<04>Dte<04>;
qlo<04>2
ra、<06>/参<04>\t模p等参<04>>
spe<04>E
ter<04><模型q
ugg<04>5
、ad<04>7de<04>@ql<04>1项目<04><03>


DLLBw"基<04>v20dlo<04>,国内<04>b模型
	一步融<04>阶段<07>、项<04>阶段<04><07>训练3<07>游任<04><07>协同<04>o<05><>调知识<04><07>主流<04>参数<04>O<07>流，<04><08><>千问<04>n<07>与微思路)<08><>微调<04>~重要<04>]<07>阶段H<07>通义<04>l<07>基于<04>j<08><>）：<04>f<07>值。<04><07>务场@<02><><04><08><>化阶<04>r<07>统迁<06><>。
<04>W<08><>了重<04>\<05>据
<04>
值。
<04><08><>外研<04> <05><>原<04>&<05><>面<04>d<04><>bem现，<04>J<08><>层微<04>><07>微调<04>x<08><>）：<08><>场景A<05><>调<04>问答<04>Q<05><>域<04><03>

<04>,<08><>与协<04>n阶段<04>s<07>为参<04>N<08><>问进<04>o<07>同优<04>p<08><>理简<04>(<08><>数规<04>P高<0C>@<40><12><07>提供<04>Z<07>展趋<04>)阶段<04>)<07>开源<04>F<06><>。
<04><07>优化<04>q<08><>发展<04>(<05><>践<04><08><>阶段<04>\<07>内外<04><02><><04>c际层<04>/<07>谱进<04><08><>财务<04><07>景。B特<04>T<08><>直领<04>i<05>+领<08>{<7B>>迁移:适配，针<04>L<02><>s<08><>定制<04>v<05><>调<04>~深化<04>l的应<04>适配<04>:<07>于通<04>k座模
<EFBFBD>x<EFBFBD>>础模7<08><>研究<04>!<07>采用!<07>幅降<04>T<08><>习与思(<08><>任务?制微<04>w<07>践依<04><07>原理<04>'<08><>财务<04>O<08><>微调<04>M通用-<08><>微调<04>?面，<06>16<07>趋势<04>*<08><>降低<04>U<07>现状<04>%<07>前）至今<04>d<05><>歌i）：UL<08><>用价<04>	<07>模型
<EFBFBD>y<EFBFBD>><06><>"预x<08><>源基<04>G社<04>K<07>确立_<08><>阶段<06><>调"<06>{参<04>N技<0C>$"HL-<02><><04>@策<04>b范\雏，<04>y
	思路，*<07>采用<04>W<08><>为主<04><08><>术与<04>在<04>
框<04>
爆<04>&<02><><04>V<02><><04>F<04><>

<04>集上1<08><>供了<04>[出bl<08><>。国<04>a<08><>撑。<04>`<08><>微调<0E>#"<22><12><07>据集0规模<04>Q高效<0C>A<EFBFBD><12><08><>及提<04>Y<05>。
C特性<04>U<08><>项目<04>.<07>与知<04>
在财<04>框架<04>爆发<04>'<05><>普<04>W<05><>继<04>G<06><>建"w成为<04>，选<04>C<05>。
<04>
构成<04>，<04>B<08><>架。<04><06><>型+<08>z<EFBFBD>>迁9适，r<>[<05><>幅<04>S<08><>构建v<08><>提出k<07>融合<04><06><>。"<04>u
2c
l<04>+模（2GLL<08><>平现<04>$<08><>，微<04><08><>化与<04>m<08><>任务<04><08><>基座<04>H社区<04>L
	爆发阶<04>(<08><>定任>性采<04>V<08><>和发<04>'<08><>状和<04>&，将<04>K<08><>简述<04>)论和<04><06><>"基<04>2lo<04>Y价值<04>
<05><>统#数据/知识~<08><>基础6<05><>用<04>技术<04>	<05><>及<04>X<05><>构<04>理论<04><08><>的理<04><05><>究<04>#采用<04>0<07>领域<04>j<07>继出<04>H<06><>识+图<04><08><>究内<04>$水<04>"<08><>模型8<07>立阶`<08><>区为<04>M<08><>学习至特<<08><>领域<04>t<08><>内容<04>%水平<04>#<08><>阶段a<08><>一阶<04>阶<04><05><>阶G四阶<04>[<08><>参数<04>?<05><>源<04>J<07>场景<04>S<07>略。<04>d<06><>述
<04>*<06><>-微Z的基5通用|<07>迁移<07>出现<04>I
	至今）<04>e特定=<08><>式确^<08><>合。<04><08><>财税<04>r				
	



									
		
												









	


	








	










	

	
		
			
	

	








		









<0B><0B><00>3<EFBFBD><33><EFBFBD><EFBFBD><EFBFBD><00>j<03>
0要支撑<04>_<08><>模大<04>R<06><>练-Y的4通{<07>和实<04><08><>了微<04>}<05>+下<04>图谱<04><06><>"的<06>{参数<04>O技术<0C>%"HL-<05><>构<04>A策略<04>c范式]雏形，验<04>z<07>进一<04><07>歌提j<08><>务问<04>P<02><><04>税领<04>s<06><>势
<04>+<08><>，将+<07>依据<04><08><>移学至;<07>一步<04>行财<04>q<03>

<04>+
适配"<04>;多<07>取开<04>E<07>义千<04>m用数.知}<06><>"分<04><多采 <06><>用"<04>1
l<04>X传"<07>云基<04>i<07>要支<04>^<08><>对财<04>N<08><>答场<04>R进行<04>p<08><>段。JJL（GLL<07>里云<04>h<08><>层面<04>0<07>低。<04>V<08><>上训2<07>形阶<06><>，h<04>2阿<04>f<08><>目的<04><02><><04>"采<04>/<08><>训练X$<07>域定<04>u<02><><04>}深<04>k的<04>适<04>9<08><>次构u<08><>证了<04>|<08><>效微<0E>""<22><12>
（20GLL<07>：传
垂<04>g预V<02><><04> <03>hu<04>3将微<04>L通,<05><>调<04>	选取<04>D<05><>对<04>M<05><>里<04>g<05><>次t<05><>证<04>{<07>传统垂直<04>h预训W<05><>效<04>!





	







		
			

		
四、项目研究内容和实施方案

4.1 项目研究内容详细说明

本项目研究内容包括数据格式研究、微调框架研究、模型微调后评估体系研究三个方面。

4.2 理论研究步骤和试验计划

包括数据处理流程、训练数据生成流程、数据验证流程三个主要环节。

4.3 项目组织方式和协作分工

本项目由项目负责人统筹协调，下设数据组、算法组、应用组三个工作小组。

五、预期目标和成果形式

5.1 项目研究预期达到的目标

技术目标：问答准确率达到85%以上。应用目标：开发财务智能知识问答原型系统。效益目标：替代财务专家70%以上的重复性咨询工作。

5.2 明确叙述提高研究成果的形式

包括技术方案文档、原型系统、训练数据集、微调模型、技术论文/报告等成果形式。

<01><06>
<01><00>Y<00>7第一阶段（2018年前）：传统迁移学习与微调雏形阶段。模型适配多采用传统迁移学习思路，将通用数据集上训练的基础模型迁移至特定任务场景。

第二阶段（2018-2020年）：预训练-微调范式确立阶段。2018年谷歌提出BERT模型，首次构建"预训练通用知识+下游任务微调"的技术框架。

第三阶段（2020-2022年）：高效微调技术爆发阶段。LoRA、QLoRA、Adapter等参数高效微调技术相继出现，将微调参数规模大幅降低。

第四阶段（2022年至今）：垂直领域深化与协同优化阶段。"基座模型+领域微调"的架构成为主流，微调技术与知识图谱进一步融合。

2.2 国内外研究水平现状和发展趋势

国际层面，Hugging
Face、DeepSpeed等开源社区为参数高效微调技术的普及提供了重要支撑。国内层面，阿里云基于通义千问进行财税领域定制微调，验证了微调技术在财务领域的应用价值。

三、项目的理论和实践依据

3.1 项目研究内容原理简述

本项目采用"基座模型+领域适配"分层微调架构，选取开源基座模型，针对财务问答场景特性采用LoRA参数高效微调策略。<E795A5>q<00>g模型微调（Fine-tuning）技术作为将通用大模型适配到特定场景的关键手段，通过在领域相关数据上进一步训练模型参数，使模型能够吸收领域知识、适应特定任务要求，从而显著提升模型在目标任务上的性能表现。随着大模型参数规模的不断扩大，传统的全参数微调方式面临着计算资源消耗大、存储成本高、容易产生灾难性遗忘等挑战，因此，参数高效微调（Parameter-Efficient
Fine-Tuning,
PEFT）方法如LoRA、Adapter、Prefix-tuning等技术应运而生，为低成本、高效率的大模型领域适配提供了新的技术路径。

本项目旨在探索适合特定领域特点的高效微调策略，解决数据稀缺性、专业术语理解、领域知识融合等关键技术问题，提升模型在特定场景下的准确性、可靠性和实用性。

项目成果将对该现状和技术发展的作用主要体现在技术推动作用和应用落地支撑两方面。

二、国内外研究水平综述

2.1 技术发展历史简要回顾

大模型微调技术的发展历程分为四个阶段：<EFBFBD>h
<00>U远光软件股份有限公司科技项目可行性研究报告

项目名称：大模型微调技术研究与应用

申请部门：

起止时间：年至年

项目负责人：

联系电话：

申请日期：年 月

大模型微调技术可行性研究报告

远光软件股份有限公司科技项目可行性研究报告

项目名称： 大模型微调技术研究与应用

申请部门：

起止时间： 年 月至 年 月

项目负责人：

联系电话：

申请日期： 年 月

一、目的和意义

1.1 项目背景与需求

近年来，以深度学习为基础的大型预训练语言模型（Large Language Models,
LLMs）如GPT系列、BERT、LLaMA等在自然语言处理领域取得了突破性进展，通过海量数据的预训练和超大规模参数量，这些模型展现出强大的通用语言理解与生成能力，在机器翻译、文本摘要、问答系统、内容创作等众多任务中表现出色，引领了人工智能技术的新浪潮。然而，这些通用大模型在面对特定专业领域任务时，往往存在知识覆盖不足、专业术语理解偏差、领域特定逻辑推理能力欠缺、输出风格不符合行业特点等问题，难以直接满足垂直场景的应用需求。
H
<EFBFBD>H<00>f<00>Q六、项目承担团队的条件

项目团队具备人工智能、大数据等领域的技术背景，具备财务信息系统开发经验，具备充足的GPU计算资源和完善的开发测试环境。

七、项目进度安排

第1-2月：项目启动、需求分析；第3-4月：数据收集、清洗；第5-7月：数据集生成；第8-10月：模型训练；第11-12月：系统开发；第13-14月：优化整理；第15-16月：验收转化。

八、项目经费预算

本项目经费预算根据实际研究工作需要编制，包括人工费、设备使用费、业务费、场地使用费、专家咨询费等科目。

分管领导审核意见：

（对经费预算是否合理，有无其他经费来源，能否保证研究计划实施所需的人力，工作时间等基本条件提出具体意见）

分管领导（签字）： 年 月 日<>L<00>3.2 项目研究内容理论和实践依据

理论依据包括国家战略层面的政策支持和成熟的技术理论体系。实践依据包括大模型微调技术在财务等垂直领域的成功案例。

3.3 项目研究的关键和难点

关键点包括高质量数据集构建、高效微调策略适配、知识精准注入与幻觉抑制、效果评估体系建设。难点集中在数据处理、微调策略、知识注入和评估体系四个方面。

四、项目研究内容和实施方案

4.1 项目研究内容详细说明

本项目研究内容包括数据格式研究、微调框架研究、模型微调后评估体系研究三个方面。

4.2 理论研究步骤和试验计划

包括数据处理流程、训练数据生成流程、数据验证流程三个主要环节。

4.3 项目组织方式和协作分工

本项目由项目负责人统筹协调，下设数据组、算法组、应用组三个工作小组。

五、预期目标和成果形式

5.1 项目研究预期达到的目标

技术目标：问答准确率达到85%以上。应用目标：开发财务智能知识问答原型系统。效益目标：替代财务专家70%以上的重复性咨询工作。

5.2 明确叙述提高研究成果的形式

包括技术方案文档、原型系统、训练数据集、微调模型、技术论文/报告等成果形式。

++<00>M<EFBFBD><4D><EFBFBD><EFBFBD><EFBFBD>
<00><0E>0

3L
4<08>6;4
5<06>cT五<04>V关\<02><><08><00>J<02><><04>'技<04>t<02><><06>Fn理3.M4.<08>7;45.<06>dT五、<04>W关键]<05><>括<08>
<01>J<05><>、<04>(技术<04>u<05><>项<06>Gn理论
 明确<04>:理论<04>t项目
NlmD
%以上<06>'
.1 <08>9<EFBFBD>/2 
<03>q<EFBFBD>H3 O<>W
/报告<04>g
0%以<04>(
1 项<08>:<3A>/
2 明<04>9理<04>s项
3 项P<>W.2
3N
4.1<04>8
2<04>q
3<04>#
5%以<04>.1<04>e
2<04>7
70%<04>'
85%<04>
	、原型<04>R<05><>用<04>K<05><>调
<EFBFBD>F<>技术<04>b<05><>果<04><04>据<04><05><>型<04>^知识t&<05><>法<04>G训练<08>
<EFBFBD>O项目<04>*<05><>期<04>Y<05><>效k<03>

K]J47a实践0<05><>用<04>效益<04>难点<04>	
	三个主<04>工<04>O方<04>j<07>。应<04>的重<04>+<07>设数<04>B<07>幻觉{<05>家7<04>%<07>主要<04>工作<04>P方面<06>#J<07>在数<04>
<07>要环<04><08><>、预<04>X<07>统筹<04><<08><>财务<04>"<07>上。<04>的<04>*<08><>体系<08>H<08><>系。.四<04> <02><><04>研<04>f<05>。
<04>3分工<04>/<05><>组<04>R<06><>。
J<05>据
包
	入与幻z和评<04><07>键和W点^<08><>容包<04>M<02><><04>/理
详<04>@<08><>注入x确率<04>}<06><>工
<04>0<03>

<04><03>85<04>
的目<04>p<07>、效<08><>案例H<07>专家<04>$智能<04>等垂@<08><>括国<02><>5技<04>J<02><><06>O5高a<08><>作分<04>.调，<04>?<08><>型系<06>><08><>财务<04><07>述提<04>=<08><>评估<04>c<08><>等成<04>i<08><>协作<04>-<05><>施<04>1践成果<04>^熟&评估<04><04>验<04>{难点Y<07>询工<04>0<08><>、项<04>)个方<04>"<07>家战<08><>数据<04>财务><08><>直领B<07>、技<04>a微调9<>)系统<06>><08><>的成E<08><>理、<04>流<04><07>性咨<04>.<07>模型7<08><>施方<04>2践依$<03>70<04>&战略<07>包括<04>N<05><>实<04>0理论详细<04>A<08><>组。<04>S<08><>面的<04><>

<04>1作。<04>2小<04>Q<08><>觉抑|<08><>用目<04><02><><04>L<08><>、高j设。<04><08><>发财<04>
<03>

<06>bg和协<04>,研究<04>T<06><>式
<06>ag。<04>m<08><>调后<04>a技:<02><><04>X<02><><04>^策n(
	性咨询<04>/<08><>功案G果形<08>_<EFBFBD>的<04>C<05><>程<04>熟的'<07>略层<08><>术在<方<04>L理*<02><><04>v论<04>c<07>制、~<07>告等<04>h<08><>国家<05><>模6技术<04>K<05><>据<06>P5高质b<08><>和成%<04><>

包括<05><>理<06>w格式<04>R生成<04><05><>、<04>E集、<04>[构g<05><>证<04><08><>高研<04>?<08><>持和$<07>策支"<08><>微调m果评<04>
益目<04><07>据处<06>w格<04>Q生<04>
<02><><04>D集f<>v<02><><04><06><>/报<04>f档、<04>P<07>式和<04>+案
<04>4文<04>N面。<06>$J<07>方案<04>3<04><>

<04>E确叙<04>;<08><>能知<04><08><>代财<04>!<08><>目标<04>[达到<04>n<07>项目<06>Hn<07>在财=方案<04>M理论+<05><>标<04>w论文<04>d<08><>建、i<07>形式<08>`<60>的形<04>D评估<04><07>研究<04>[<04><>

<04>s和成<04>]：开<04>替<04>问<04>y<07>式研<04>S<08><>架研<04>Z<03>

<04>5例。I文档<04>O<07>、原<04>Q<08><>型、<04>`微8<>)<08><>骤和<04>y<08><>组、<04>I<07>入与y和<04><08><>程、<06>三<04>
点

[包括`集中<04><08><>的技(<08><>达到<04><07>节。<04><08><>、微<04>流程<04>论体,<02><>和研<04>u<08><>成流<04><07>目标<04>	<05><>三<04>M<07>项目<04>7<08><>、知<04>层面适配q<08><>关键V<05><>式<04>E成功F<05><>术)<05><>策!目标<04>q重复<04>,<08><>目标<04><05>标
<04>r和<04>\：<08>x由项<04>6<05><>究N[<0F>"<05><>织<04>(负责<04>9<07>领域C<08><>识注<04>精u问<04><08><>究、<06>U	三<04>h内
<08>'成<04>A<02><><04>w的T预<04>k<08><>叙述<04><率达<04>~<08><>、数<04>训<04>	三个<04><08><>、微<04>V模<04>]三个<04>i内容
	<09>'成果<04>B<05><>骤<04>x的关U预期<04>l<08><>垂直A成果<04>j<07>准确<04>|<05><>型<04><07>支持#略、<04>适p<07>协调<04>><08><>法组<04>H<08><>准注w		
		
	

	

				


		







	
		
		
		


		







	
	

	



		
	
		

	

		

	


		
	

		


	




							




<0B><0B><00>w<EFBFBD><77><EFBFBD><EFBFBD><EFBFBD><00>r
0系。实/四个<04>!<05><>设<04>研究<04>g<05><>、<04>U	
<01><04><08><>数据<08><0C>O<07>、应<04>J算<04>F<02>
<04>T三个<04>N织方<04>)<07>说明<04>C<07>方式<04>*<07>、训<04>V<04>效<04>筹协<04>=
	能知识<04><06><>。
<04><08><>环节<04><08><>抑制}<06><>划
<04>~<07>练数<08><0B>O<07>体系-<05><>据和实
文/<04>e研究<04>v<07>。难<04>数据<04>C<08><>流程<04><07>估体<08>H<07>注入<04>精准v问答<04><07>验计<04>|<07>工作<04>1<07>细说<04>B<05>明
<04>D<08><>后评<04>b技术;<05><>架<04>Y<05><>型<04>_策略o(，下<04>@<08><>责人<04>:<07>务专<04>#智<04>等?<07>人统<04>;<07>量数d<08><>依据$<06><>到8<04>的<04>o<08><>提高<04>>
	适配、r<08><>、知s<08><>复性<04>-<07>数据e<08><>和难X点包_<08><>答准<04>{<02><><04><06><>点
Z集<04>
<08><>、微<04>\中在<04>构建h<06><>。
<06>%J的政 <08><>目由<04>5<02><>N[<0F>"<02><><04>'负<04>8<08><>期目<04>Z达<04>m<07>域的D<08><>计划<04>}<05><>流<04><07>和试<04>z<08><>效微l研究<04>@质量c
	，下设<04>A<07>开发<04>替代<04> 问答<04>z
	









	
	

	

		




..<00>J<EFBFBD><4A><EFBFBD><EFBFBD><EFBFBD>
<00><0E>0

2<04>二<04>大<04> 本<04>
项<04>Z2.<04>fi<04>;pe<04>H二、<04>大模<04>!本项<04>项目<04>[
 技术<04>
,
p<04>G
-ef<04>1tu<0B>7&
.1 <04>
1 技<04>
2.1<04>
ada<04>Vme<04>+pt<04>Xra<04>)、a<04>T
cie<04>6
dap<04>W
e-t
<EFBFBD>7ff<04>2
i<04>`
t<04>Jnt<04>8r-<04>/、<04>[te<04>-
ffi<04>3ic<04>4
n<07>7
x<04>at）<04>K
g,
<04>F等技<04>j）技
ici<04>5en<04>7ne<08>7
g<0F>7&x-<04>b
lor<04>Q
met<04>,
ne-	<09>7g,<04>E等<04>i）in<0E>7&t
<04>9
ora<04>R
par<04>(ef<04>Ire<04>^te<04>Y
r-e<04>0am<04>*、<04>Sef<04>_、p<04>\
t
f<04>:er<06>..un<0C>7&）方<04>L
uni
<0A>7&
x-t<04>c
、ad<04>Upr<04>]专业<04>-可靠<04>Q<05><>内<04><05><>储<04>
<05><>易<04>适应I<05><>域<04>4<05><>效<04>w<03>

<08>O+随着f
	一步训5<07>的性`进一3<07>的准<04>L<07>断扩q<07>业术<04>.<07>术语<04>/<07>方面<04><07>阶段<04>1<07>着计<04>
<07>低成<04>s四个<04>/<05><>通<07>要体<04>m<08><>新的<04><07>、国<04><07>生灾<04><08><>而显S<07>务上^要N<08><>统的v<08><>成本<04>t<07>现在<04>o<07>为将用主<04>k和<04>v<07>模型><08><>了新<04>
	储成本<04><08><>参数y<07>数据0键手%<02><><04><<08><>外研<04><07>数据<04>'<08><>确性<04>N<08><>为四<04>.<07>特定<08><>上的_要求O<07>作用<04>u<08><>模型X<>n<08><>史简<04>程分<04>,<08><>数微z规l高<04>!，;<07>展历<06>的<04>h<07>靠性<04>R<07>简要<04><08><>特定<04><05><>关<04>:<07>收领C<08><>实用<04>U<05><>用<04>x技术<04>e<08><>个阶<04>0<05>顾
<04><07>此，<04><07>内外<04><08><>技术<04>q<05><>索<04>特定<04>G<05><>标[领域,<07>支撑<04>|<07>景下<04>J的"<08><>参数:3<05><>特<04>F<02><>Z<05><>调<03>#能够@适配<05><>域<04>~<08><>特点<04><05><>关.<05><>识F<>r适配<04><08><>研究<04>	<07>吸收B<07>、存<04>	模型Q<><15>(，传t<04><>lo<04>P<08><>储成<04><08><>任务M场景!<21>*领域<04><07>用性<04>V<07>易产<04><08><>该现<04>a<08><>对该<04>`通用<08><>历史<04>程<04>+的作<04>i<08><>综述<04>
<08><>特定K<05><>落<04>y运而<04>n<08><>面临<06><>。
<04><07>调技<04>%<02><>|策<04>!（<04>#<08><>等挑<04>
	性、专<04>,可<04>P<02>
<04>X和实<04>T能表b遗忘<04><08><>本、<04>u高<04>
<05><>将<04>^<07>，因<04><08><>段，'<07>大，s<08><>术作发<06>f2<02><><04>l推<04>r的<04>'路<04>问<04>><08><>战，<04><08><>上进2稀缺<04>)<08><>索适<04><07>动作<04>t<08><>供了<04>升模W<>n<08><>两方<04>~<08><>撑两<04>}<07>领域D<08><>微调<06>$~率的<04>y<07>微调{据上1稀<04>(规模m高效<04>"，使<<08><>扩大r<07>的技<04><07>式面~法如<04>N面。<04><08><>在探<04><08><>产生<04><07>著提U<08><>下的<04>K的关#<08><>、高<04>v项目<04><05><>、<04><07>作为发展<06>g2<05><>运<04>m推动<04>s的发<04>(语理<04>0<05><>径<04>	问题<04>?<08><>将对<04>_<08><>任务]<08><>型参93<02><>Y<>n<02><><02>#能?适<02><><04>}的不o<08><>，参<04><07>训练6<08><>，通(<08><>平综<04><08><>，从Q<06><>如l<04>O<08><>耗大<04><08><>消耗<04>
	灾难性<04><08><>的高<04><08><>定任L场 <20>*领<04>点的<04><08><>和技<04>d<08><>的大<04>z<07>。随e在技<04>p状和<04>c<08><>解、<04>2<08><>灾难<04>，为<04>q<07>主要<04>l和应<04>w<05><>模性。<04>W落地<04>z<08><>，解<04>$<08><>不断p<05><>用<04>j全参x<04>键$<05><>确<04>M<05><>展<04>)<05><>模<04>{性能a<05><>术<04>高效<04><08><>成果<04>]<05><>在<04><05><>任\<07>关数/<08><>大模h计算<04><08><>识、G融<04>7<08><>究水<04>
<08><>性、<04>O<08><>缺性<04>*<07>分为<04>-<08><>水平<04><08><>关键<04>;技术<04>k<05><>战<04><07>略，<04>#<08><>要回<04><07>资源<04><08><>适合<04><08><>模型8<07>的全w<05>述
<04><08><>性、<04>+
	而显著T生，<04>p<07>大、<04>					
		
			
		
		
						
	
				
		
	













	




		













	


	
		


				


	



		


	


	


	






<01>
<01><00>Z<EFBFBD><5A><EFBFBD><EFBFBD><EFBFBD>
<00>8
/0

七J八<04>3<02><><06>rC本<04>=第T项
（<04>}七、K八、<04>4<05><>管<06>sC本项<04>>第1U项目（对<04>~
 年 <04>>月 <04>@
-10<04>
2<04>
4<04>
6<04>)2月X4月h7月v
0月：<04>
1-1<04>
2W0月<04>1-<04>
2月<04>3-<04>4月<04>5-<04>'6月<04>*
2月：Y:
3-1<04>
4g
4月：i7
5-1<04>(
7u
6月：<04>+
7月：w
8-1<04>

gpu8
pu计9
u计算:
	、专家<04>h<04>务<04>^场地<04>b<05><>数清洗p设备<04>X需求`<05><>目Lk<03>

IkA
	七、项L<07>家咨<04>i<07>务费<04>_<08><>力，<04> <05><>智费<04>U<08><>经费<04>
<03>

提出<04>+<08><>化整<04>!<08><>意见<04>/<07>时间<04>$需要<04>M<07>用费<06>[<08><>证研<04><07>息系*
	充足的5<07>、项<04>5<07>、项<07>他经<04><07>体意<04>.备人充3财&<08><>具体<04>-<08><>析；c管领<06>tC<07>实施<04><07>，包<04>Q<08><>，工<04>!<07>信息)费、<04>`<07>、需_<08><>括人<04>S<05>。
<04>1整理<04>"<08><>测试D经验/；第<04><08><>理，<04><07>保证<04>合理<04><07>动、^<08><>完善?<07>询费<04>k<08><>的开A<08><>队具的<08><>使用<04>d<07>地使<04>c<08><>训练<04><08><>的技<07>本条<04>(<06><>。
H<08><>人工<05><>用<04>Z充足4财务'<07>数据<08><>）：<04>;<06><>排
R<07>善的@<07>施所<04>际研<04>H<07>核意<04>x<07>咨询<04>j<08><>经费<04><07>审核<04>w（签<04>8<08><>作时<04>#需<04>L智能费、<04>V<06><> 月<04>?<08><>安排Q<08><>发测C经.；<04>
	息系统+<08><>见）<04>0	
<01><04>z<08><>；第~<08><>需的<04><07>担团<08><>术背!<08><>团队<07>人工<04>T<08><>实际<04>G收集m等领集生{<04><>

S<08><>出具<04>,<08><>转化<04>/集、n<08><>据收l等集z<07>理；<04>#<08><>所需<04><08><>其他<04><07>间等<04>%<08><>否合<04><08><>，具$<07>能、<06><> 日<04>A：优<04>数j<02><><04>系<04>项Z<02><><04>,<07>无其<04>
<07>条件<04>)项目<04>?<07>背景"<06><>件
提<04>*<07>源，<04><08><>；第d<08><>意见<04>y<07>据实<04>F<08><>型训<04><08><>分析b<08><>；第r<08><>试环E<08><>洗；q<08><>和完>，能<04>
	环境。G<08><>，有<04><04>第<04>$<08><>成；}<07>费、<06>\<04><>gp7人力<04>开发B技术 <05><>件
<06><>。
<04>p启动]<05><>队承担经费<06>8进度O<08><>究工<04>J计<04><08><>目。<04>o<08><>工作<04>K计划<04><04><>1-V
1<04>
3<04>
5<04>&3-f5-t8-<04><08><>基本<04>'科目<04>n领域<07>字）<04>:<04><>

<04><是否<04><05><>据<04>E资源<<07>领导<06>uC<08><>统开,j<08><>；第<04>
<07>费来<04>预<08>9A验，0<07>开发-j<08><>制，<04>P
	背景，#<07>、大否保<04><08><>编制<04>O<06><>）
<04>1<02>
<04>{<08><>划实<04>算资;<07>练；<04>	<07>备使<04>Y<08><>研究<04><07>环境F<07>费等<04>l<08><>务信(<07>、专<04>g	
<01><04>]场<04>a设<04>W来源<04>等科<04>m预算<08>:A<08><>源和=<06><>的g6<08><>化。<04>0<08><>度安P
	间等基<04>&<08><>具备的条	<08><>研究<04>I<08><>、清o生成|<08><>求分a的人<04>要编<04>N<08><>目启\<02><>承经<06>7进N<06><>算
<04>;是<04><02><><04>D<07>域的<05><>审<04>v（<04>7<08><>收转<04>.，具1
	（对经<04>签字<04>9<03>

<04>2： <04><<07>具备%<05><>括<04>R<05><>作<04>"有无<04>	能否<04><03>

<04>| 年<04>=优化<04> 数据k<05><>型<04>系统<04>项目[<05><>收<04>-<05>第1<08>
3e
5s
8