企业做人工智能需要多少钱?

来源:知乎 作者:第四范式

亚马逊目前的运维水平成为行业标准,但凡有公司要自己搭建 OpenStack,先要回答一个问题:OpenStack 比亚马逊云的优势是什么? 

对于机器学习来说,公司要自己搭建机器学习系统,也可以先问一个问题:需要多长时间和多少钱,才能达到行业领先的性能?

要知道,时间成本 + 丧失的竞争优势是无价的。 

我们来算算这笔账。 

1、时间

自建机器学习系统,大概有这么几步: 

  • 步骤 1:招聘机器学习团队的 Leader,2 个月

  • 步骤 2:搭建机器学习团队,2 个月 

  • 步骤 3:前期业务调研,2 个月 

  • 步骤 4:前期技术调研,2 个月 

  • 步骤 5:数据采集相关开发和数据积累,0.5 个月 

  • 步骤 6:数据分析处理,1 个月 

  • 步骤 7:模型调研,0.5 个月 

  • 步骤 8:线上系统开发,0.5 个月

  • 步骤 9:a/b测试和模型优化,0.5 个月

合计:11 个月 

这是相对较快的时间表,如果在哪个环节踩到坑,拖延的时间就没法计算了。 

如果要减少时间,关键是什么? 

专业化分工 + 专注核心环节。 

实际上,真正需要自己做的是数据采集、模型调研和模型优化,在专业化工具的帮助下,这些环节可以缩短到 1 个月。而其他 10 个月时间的工作,已经有专业化工具可以替代,沟通和实施时间可以缩短到 0.5 个月。 

这样就从原来的 11 个月,变成了 1.5 个月。 

2、钱

机器学习系统的投入,一般是这样的:

1000 万行/天的数据规模,机器学习系统一年的支出是 944 万。

如果要减少投入,关键是什么? 

专业化分工 + 专注核心环节。

通过使用机器学习平台,上面的投入会变成这样。

10 台线上机器和 20 台线下机器 ,企业在购买时是按照峰值数据量配备的,但机器实际运转的时间,往往只有 1/8,即每天运行 3 小时。剩下的 7/8 是浪费的。另外,开源机器学习框架对资源利用效率低,又是一大块资源浪费。

所以原本需要 10 台线上机器和 20 台线下机器,通过机器学习平台只需要 2 台线上机器和 4 台线下机器,节约了 240 万。

在人员投入上,30 台的机器需要配备 1 个带头人、3 个研发、1 个测试、1 个运维、1 个机器学习专家和 1 个业务专家,但如果采用机器学习平台,在专业化工具的帮助下,企业只需要 0.5 个机器学习专家和 0.5 个业务专家。

通过使用机器学习平台,企业的人力成本可以节约 588 万。

另外,机器学习平台的思路可以实现 1.5 个月上线,如果全部自己做则需要 11 个月甚至更久。如果错过了抢占市场的黄金期,损失就是巨大了。对于一个 1000 万行数据规模的公司来说,我们假定 9.5 个月延迟的损失是 5000 万。

所以我们得到了两个数字:

  • 如果不考虑时间的机会成本,采用机器学习平台的成本是自建系统成本的 12.3%。

  • 如果考虑时间的机会成本(5000 万),采用机器学习平台的成本是自建系统成本的 2%。


3、机器学习系统

机器学习系统的性能有 3 个要素: 

  • Max AUC:模型能达到最好的效果,好比山的高度

  • Actual AUC:实际上线模型的效果,好比爬到多高

  • Time:模型训练和预测所需要的时间,好比多久爬到这个高度

如果自己搭建机器学习系统,首先遇到的瓶颈一般是数据处理能力。

对于大部分机器学习团队来说,他们一般可以处理几十万规模的数据量,但如果数据规模超过 10 亿,那么即便是简单的逻辑回归模型,也会变成一个非常困难的问题。 

为了迁就不足的计算能力,一般会做的事情是减少特征数量和样本数量,这样才能在业务需要的时间内把模型训练出来。 

但这样会造成很不好的结果,Max AUC 因为特征和样本数量减少而降低,Actual AUC 因为 Max AUC 和计算能力不足而降低,Time 因为计算能力不足而增加,最终整个系统的能力就会遇到瓶颈。 

如果要提升性能,关键是什么? 

专业化分工 + 专注核心环节。

大规模机器学习的计算框架是一件非常难的事情,因为它不仅需要处理亿万规模的数据,而且要符合机器学习的规则。能做大规模机器学习计算框架的人全国都屈指可数,基本集中在百度、阿里、腾讯以及少数的创业公司。 

所以对于公司来说,与其死啃大规模机器学习的计算框架,反而不如购买第三方的专业服务(这就好比你不会自己开发芯片)。而当计算能力充足的时候,公司就可以专注自己的核心环节,把特征的维度做上去,把数据的规模做上去,把数据和业务的结合做的更清晰。 

这样公司机器学习系统的性能,例如在业务需要的时间内获得的 AUC 才能提升上去。

4、总结

总的来说,公司要做机器学习,应该采取专业化分工 + 专注核心环节的方式,具体如下: 

专业化分工完成和辅助完成的:前期业务调研、前期技术调研、数据处理、模型调研、模型优化、模型上线、大规模机器学习计算框架、线下机器、线上机器、运维、大部分的工程投入。 

公司专注完成的环节:业务问题定义、数据采集、特征扩充、模型调研。 

这样,只需要 1.5 个月的时间,大约 10%(2%) 的成本,不仅获得了高性能的机器学习系统,而且能带来实际业务效果的提升,让机器学习能力真正转变为市场竞争力。


相关文档推荐

人工智能技术发展与应用实践.PDF

1743586449 史树明 5.88MB 35页 积分6

2025年人工智能十大发展趋势.PDF

1740034526  0.97MB 13页 积分5

未来已来AI组织进化论.PDF

1735001680  3.96MB 29页 积分2

2024生成式人工智能应用发展报告.PDF

1734480571  2.62MB 42页 积分4

AIGC发展研究3.0.PDF

1734396443  24.68MB 207页 积分8

人工智能AI与医学.PDF

1734396080 赵屹 3.98MB 19页 积分5

2019人工智能安全标准化白皮书.PDF

1734395887  2.67MB 0页 积分5

生成式人工智能产业全梳理.PDF

1734394852  2.41MB 67页 积分5

相关文章推荐

生成式人工智能

AI大模型应用实践  

企业应用人工智能面临的挑战

CIO之家的朋友们 CIO之家的朋友 

如何构建人工智能产品?

人人都是产品经理 白白 

人工智能的五个阶段

CIO之家的朋友们 CIO之家的朋友 

人工智能如何赋能新零售

苏宁财富资讯 沈春泽