企业构建AI大模型应用的步骤流程与关键问题解析
少军叨叨 少军的AI空间

构建企业级AI大模型驱动的应用系统是一项跨越技术与业务边界的综合性任务,它不仅考验着企业在业务领域知识的深度,也挑战着企业基于AI大模型构建应用的技术高度。这一过程要求业务专家与AI大模型专家紧密协作,共同确保通过AI大模型的赋能,实现业务价值的倍增效应。



基于实践经验总结,可以系统化地将AI大模型应用的构建流程划分为五个核心步骤:

1)需求场景的精确定义

2)大模型的科学选型

3)大模型性能效果的强化调优

4)大模型的部署与运行维护,以及

5)AI应用的无缝集成。

针对这一过程中的每一关键环节,本文将深入剖析企业所面临的策略抉择与潜在难题,旨在为那些意图搭乘AI大模型发展浪潮、加速数智化转型的企业提供一份具有可操作性的行动指南。


image.png














一、明确需求场景:精确制导,确保目标清晰

明确需求场景是项目起点,也是项目成功的基石。AI大模型专家需与业务团队紧密协作,细致剖析业务痛点,识别AI可解决的关键问题,同时考虑法规遵从与资源约束,为项目定下清晰且实际的目标。

  • 模糊不清的需求目标可能导致资源浪费和项目延期。企业应首先明确AI应用的场景,如是否需要处理文本生成、情感分析、图片理解和生成等特定任务,这直接影响到后续的模型选择与技术路线设计。

  • 未事先充分评估引发潜在风险。例如,在国内,对外提供服务的大模型及大模型应用,均需要经过安全评测备案。这就要求选型时慎重考虑避免使用海外大模型,数据传输出境等风险,避免产生合规问题。

这一阶段明确需求场景和目标后,对后续指导模型选择、评估计算资源和预算、设计合理技术方案、识别安全合规要求、乃至管控部署和运维大模型应用路线都具有指导意义。也是企业自身需要重点思考的环节。



通常情况,建议需求目标从点开始再到面,先从单点AI大模型能力与现有应用的结合开始落地,逐步再考虑更深入更多场景的结合,最后再到基于AI Agent智能体思路重塑业务应用。


    二、大模型选型:平衡艺术,精准拿捏

    大模型选型阶段,AI大模型专家依据需求分析结果,在众多预训练模型中甄选,不仅考虑模型的性能与准确性,还要平衡计算效率、成本及安全性,选择与企业基础设施兼容性最优的解决方案。

    • 性能与成本的权衡:这点要求企业细致考察市面上现有的各类大模型。通过基准测试了解模型上限,结合实际预算和性能需求做出决策,同时考虑模型的长期维护成本。一般来说我们会有这么一个大模型选择三角形,从效果、性能、成本三方面平衡考虑。在选型路径上,建议首先用“最聪明”的基础大模型(比如千亿参数规模的通义千问max版本、多模态则为qwen_VL_max版)来做任务的上限效果测试验证,如果“最聪明”的大模型可以满足效果要求,再去考虑成本和性能问题,比如下调选一个小一点参数规模的大模型再测试,直到平衡满足企业综合需求。

    image.png












    • 安全与合规的考量:在国内尤为重要,涉及到大模型生成内容的安全可靠、大模型及应用的备案、数据出境限制等,建议选择符合要求的大模型。

    • AI工具链和生态系统支持,对于大模型的持续优化和功能拓展至关重要。强大的AI工具链和社区支持意味着更多的应用案例、工具和解决方案,有助于企业快速迭代升级。国外的社区比较出名是Huggingface,国内则为阿里云的Modelscope魔搭社区。


    三、增强调优大模型:精雕细琢,效能提升

    随后的增强调优步骤中,通过提示词工程、RAG、微调等方案策略,对选定的大模型进行优化,旨在提升其在特定场景下的表现效果与可靠性,确保大模型的输出贴合业务实际需要。

    • 提示词工程是指通过各种输入设计来引导模型行为给出回复。特点是轻量,易使用,模型强相关。提示词工程虽轻便易行,但也需要理解大模型特性,才能设计出高质量提示词,高效引导模型输出预期内容。

    • RAG主要结合外部知识数据,让大模型更可控的回答垂直/封闭领域问题。RAG依赖高质量外部数据,因此数据的准确性和时效性、数据检索和增强过程中的优化技巧是关键,处理不好会影响大模型的输出质量。

    • 微调调优则是通过小规模训练来优化模型在特定任务上的表现。特点是适配特定任务、高准确,但复杂且高成本。同时微调调优过程具有一定的不确定性,处理不当会出现过拟合、甚至影响原有基模能力。

    针对当前三种主流优化方案,这里简单补充做个说明。经常有人问上述三种方案核心区别是什么,怎么选?我们先回答是什么的问题。如下图所示,本质上大模型和程序一样,都是根据外部输入,然后执行后给出输出结果。程序=数据结构+算法,简单的对应过来,大模型=模型结构+参数权重。所以说,提示词工程,本质就是通过巧妙设计输入,使之更好适配大模型中的模型结构,从而获得更好的输出结果;微调调优,则是基于给定的数据集做训练,来优化更新大模型在预训练时已经固定好的参数权重,让后续的输入能在该行业领域的任务上得到更好的输出结果。

    image.png











    接着看“怎么选”的问题。对大模型的增强调优,在实际使用过程中,并非大家所想的按提示词工程->RAG->微调调优这种直线路径推进的。而是需要结合提示词工程、RAG和微调调优等特点,反复尝试,螺旋推进落地。下图为OpenAI专家给出的一个大模型调优建议路径。

    image.png












    微调调优后的模型务必要做好模型评测。模型评测不仅验证了模型在特定任务上的优化效果,保证了输出质量达到预期标准,还通过全面评估模型性能,揭示潜在的偏见或不足,为进一步的迭代优化提供了数据支持。具体如何评测就不再赘述,可网上参考相关文章了解。


    在增强调优大模型这个环节里,数据集是非常重要的,不管是训练数据集还是评测数据集。这是因为高质量的数据(包括数据的多样性、质量和规模等)深刻的影响着大模型能力和企业AI应用价值倍增量级。经常很多企业在问,我们欠缺数据或者没有高质量数据时,如何提升大模型应用效果。碰到这种情况,除了建议企业可以向外尝试多种数据合作方式,也可先直接用基模或现成行业领域专属大模型,同时着手规划建设自己的企业数据平台。

    四、大模型部署与运行:灵活应变,确保稳定

    一旦模型优化成熟,便进入部署与运行阶段,这要求专家精心设计部署架构,无论是云端托管、边缘计算还是本地部署,均需确保系统的稳定运行、弹性伸缩及高效运维,同时建立监控机制以应对潜在故障。大模型部署方式应根据企业的业务场景目标决定。根据模型参数规格大小不同,可以部署到终端智能设备、IDC机房以及云上。云平台一般也根据不同场景提供更多的大模型环境部署和运行服务。如下图所示。

    image.png












    • 推荐大部分企业优先考虑直接调用MaaS API服务的方式(类似阿里云百炼模型服务平台)。

    • 企业有开源大模型私有化部署需求的,首先考虑基于阿里云人工智能平台PAI做整体开发部署提供模型服务。如企业有AI团队及技术积累,考虑自建的话,可推荐基于阿里云GPU云服务器构建。从成本和运行维护投入等方面考虑,原则上不建议纯线下IDC自建智算资源和大模型服务。


    五、AI应用集成:深度融合,释放潜能

    最后一个环节是AI应用集成,即将完成增强调优后的大模型部署运行后,无缝集成融入企业现有的数智化生态系统中,无论是通过MaaS API接口、插件、流程编排、Agent还是构建全新的用户界面,目标都是最大化大模型的能力和价值,提升用户体验,促进企业业务流程智能化升级,从而驱动企业创新与竞争力的飞跃。



















    CIO之家 www.ciozj.com 公众号:imciow
    关联的文档
    也许您喜欢