引言
但把大模型接进业务流里，让它按你的规则、你的话术、你的流程干活——绝大多数企业卡在了这一步。原因很朴素：通用模型学的是互联网公开知识，而你的业务经验、内部规则、历史工单，从来不在公开互联网上。本文记录一次基于Qwen2.5-3B的LoRA微调实践，不堆砌技术名词，只讲清楚三件事：为什么必须微调、微调到底难在哪、以及微调完的模型怎么用起来。
一、通用模型答“是什么”，企业需要它答“怎么查、按什么规范查”
大模型的能力来源于海量数据训练，它可以理解语言规律、掌握通用知识，并完成复杂文本生成任务。但企业业务往往具有明显的行业特点和内部规则，这些内容很难通过公开数据学习获得。例如，在通信客服场景中，用户询问"联通手机号码的话费查询可以通过哪些途径进行？可以查询到哪些具体的话费使用情况？"。通用模型能够回答"可以通过营业厅、客服电话查询话费"，但企业真正需要的答案通常包含更细节的业务规则，例如具体查询入口、服务流程、能够查询的字段范围以及符合企业标准的话术表达。这类能力不是简单增加模型参数规模就能解决的问题，而是需要模型接触企业自己的业务数据，让模型学习企业特定的问题形式和回答方式。举个例子：同样问“查话费”，通用模型能给出三五条途径。但企业客服场景下，业务方真正要求的是：入口名称必须与APP一致、话费字段必须按账单分类逐项列出、结尾必须带服务提示语。未经微调的模型，这些细节一条都做不到。羽山数据在企业AI项目实践过程中发现，很多企业在引入大模型初期都会经历类似阶段：模型能力看起来很强，但进入业务流程后，总感觉"不够懂业务"。实际上，这并不是模型能力不足，而是企业业务知识还没有真正进入模型能力体系。问题随之而来：这些沉淀在历史工单、业务文档、人工经验中的知识，要怎么"喂"给模型？所以问题的关键，不是模型不够大，而是企业自己的业务知识，还没进到模型参数里。
二、为什么选择LoRA微调：企业不一定需要训练一个"大模型"
答案并不是重新训练一个模型。传统的大模型训练需要大量计算资源和海量数据，对于绝大多数企业来说成本非常高。因此，企业实际落地时通常不会重新训练一个基础模型，而是在已有优秀开源模型基础上进行针对性优化。LoRA（Low-Rank Adaptation）就是目前应用较广的一种参数高效微调技术。简单来说，LoRA并不会修改整个大模型的全部参数，而是在原模型基础上增加少量可训练参数，通过这些参数让模型学习新的任务能力。例如，一个3B参数规模的模型，本身拥有几十亿参数。如果直接训练全部参数，不仅需要大量GPU资源，也需要非常长的训练周期。而通过LoRA微调，只需要训练几百万级别的参数，就可以让模型适应新的业务场景。在本次实践中，羽山数据基于Qwen2.5-3B-Instruct基础模型，通过LoRA方式进行企业业务数据微调。训练数据来自企业业务问答场景，包括用户问题、历史问题以及标准业务回复，通过构造高质量训练样本，让模型逐步学习企业客服领域的表达方式和业务逻辑。最终训练得到的并不是一个全新的模型，而是在原有通用能力基础上增加了企业业务能力的专属模型。
三、一次完整的企业模型微调实践：从数据准备到超算训练
企业模型微调并不是简单地把数据丢给模型训练，而是一套完整流程。首先需要进行训练数据整理。企业历史数据通常存在格式不统一、问题描述不规范、答案质量参差不齐等问题，需要经过清洗、筛选和格式转换，形成模型能够理解的训练样本。完成数据准备后，需要选择合适的基础模型和训练方案。考虑到企业实际成本和部署需求，本次采用Qwen2.5-3B-Instruct作为基础模型，通过QLoRA/LoRA方式进行参数高效训练。训练过程部署在SCNet超算平台上完成。相比本地服务器，超算平台提供了更强的计算资源和专用加速环境，可以支撑模型加载、梯度计算以及长时间训练任务运行。整个训练流程包括：数据加载 → 文本格式化 → Token化处理 → 加载基础模型→ 注入LoRA参数 → 超算节点训练 → 保存LoRA权重 → 推理验证。最终训练完成后，整个训练过程持续了约6.5小时，loss在训练过程中稳定下降，说明模型正在逐渐学习训练数据中的规律，最终顺利完成全部训练步骤，LoRA微调过程正常结束。6.5小时，约合一张GPU卡的一天租金。相比全量微调动辄数天甚至数周，LoRA的成本优势是数量级的。
四、超算平台并不是"直接跑代码"，而是管理计算资源
企业进行模型训练时，一个容易被忽略的问题是：训练代码能够运行，并不代表拥有计算资源。在超算这类环境中，计算节点、加速卡、运行环境都需要通过任务调度系统申请，而不是像本地开发机一样打开就能用。此外，国产DCU/ROCm这类加速硬件也有自己的软件栈，与主流CUDA生态并不完全兼容，训练脚本往往需要针对硬件环境做适配。这背后其实反映了一个容易被忽视的事实：企业模型训练不只是算法和数据的工作，也是一项工程基础设施的工作。计算资源的申请、调度、硬件适配这些看似"跟AI没关系"的环节，恰恰决定了一次微调实践能不能顺利跑完。在本次实践过程中，也遇到了内存溢出（提前用nvidia-smi监控显存占用，训练前用batch_size=1做一次试跑，确认基线。）、依赖库缺失（将requirements.txt固化为固定版本号，在超算环境中用虚拟环境隔离。）、接口版本不兼容（提前查阅超算平台的官方镜像列表，优先使用平台预置的PyTorch/ROCm镜像，避免自己编译。）、优化器与硬件生态不匹配等一系列典型问题。这些问题单独拿出来看都不复杂，但它们共同指向一个容易被低估的事实：企业做模型微调，真正消耗时间的往往不是“模型学得好不好”，而是让训练流程在特定软硬件环境下稳定跑起来。 一个成熟的企业AI团队，往往不是模型调得最好的团队，而是最快能把工程链路跑通的团队。
五、训练完成后的模型如何使用
LoRA训练完成后，并不会生成一个完整的大模型文件，而是一份独立的LoRA权重。使用时，需要将基础模型与LoRA权重组合加载，也就是：Qwen2.5-3B-Instruct + qwen3b-lora = 企业业务模型怎么判断微调成功了？我们用了两组对照：自动化评估：准备200条未参与训练的测试问答，对比微调前后模型的BLEU分数和业务关键词命中率。人工抽验：由业务方随机抽取50条回答，按“话术合规、信息完整、语气恰当”三项打1-5分。通过后，才能将LoRA权重部署到生产环境。没有评估的微调，等于没有闭环。这个等式其实揭示了LoRA微调的一个重要特点：企业积累的业务能力，是以"插件"的形式挂载在通用模型之上的，而不是重新造了一个模型。这意味着，当底层基础模型迭代升级时，企业沉淀下来的LoRA权重仍然有可能复用，业务能力不会因为基础模型的更换而归零。在测试环节中，若模型能够按照训练数据输出企业标准答案，说明模型已经完成从通用语言模型到企业业务模型的能力迁移。
六、未来企业AI的核心竞争力：不是模型，是数据资产
对于企业而言，模型规模并不是唯一目标。真正有价值的是：模型是否理解企业业务，是否能够融入业务流程，是否能够持续优化，是否满足数据安全要求。一个容易被忽视的趋势是：随着开源基础模型能力越来越强、越来越普及，模型本身正在变成一种"标配"，而不再是差异化优势。今天几乎所有企业都能用上同一批优秀的开源模型，真正拉开差距的，是谁能把自己独有的业务数据、历史经验、内部规则转化成模型能力。换句话说，未来企业AI的核心竞争力，不会是"用了哪个模型"，而是"喂给模型的是什么数据"。这也是为什么LoRA这类轻量化微调技术会越来越重要——它让企业不需要重新训练一个大模型，就能把自己的业务壁垒沉淀进模型里。羽山数据认为，未来企业AI建设会越来越强调"业务模型能力"。通用大模型提供基础智能，企业数据提供业务经验，LoRA等轻量化微调技术负责完成能力迁移，而计算平台提供模型训练所需的算力基础。最终企业需要建设的，不是一个万能AI，而是一套能够持续学习、持续优化、真正服务业务的智能能力体系。从"大模型应用"到"企业专属模型"，中间的关键一步，就是让模型真正理解企业自身的数据和经验。回到开头那个话费查询的例子：通用模型能答对"是什么"，但只有吃透了企业自己数据的模型，才答得出"怎么查、查哪些、按什么规范答"。这中间的差距，或许才是企业AI下一阶段真正要补上的功课。企业AI能力 = 开源基座模型（基础设施） + LoRA权重（业务经验参数化） + 持续数据回流（进化机制）基座模型会越来越便宜、越来越强，最终变成“水电煤”。而那个挂载在上面的LoRA权重，才真正记录了你这家公司独有的业务理解、流程规范和专家经验——它才是你花时间、花算力、花精力真正要沉淀的资产。
关于羽山数据
羽山数据是一家面向企业场景的数据智能与 AI Agent 解决方案服务商。公司以合规数据能力为底座，结合数据治理、AI 分析、行业智能体与私有化本地模型训练交付能力，为金融风控、政务监管、企业核验、供应链管理、数据治理等场景提供数智融合解决方案。面向企业数智化转型需求，羽山数据通过数据产品、智能体应用、场景化Demo、PoC 验证与 FDE 项目制交付，帮助客户把数据真正转化为可分析、可执行、可审计、可落地的业务能力。
作者：焦文钦
文章审核：计文迪
联系我们
商务合作：周经理
Email：zhoumengli@yushanshuju.com
地址：上海市虹口区飞虹路118号瑞虹企业天地T2-1719