告别手摇织布机的AI时代
训练一个AI最快要多久?以前半年,现在半天
詹士 编辑 发自 凹非寺
量子位 | 公众号 QbitAI
18世纪60年代,当蒸汽机被发明时,绝大多数人并没有意识到“工业革命”的到来;
1946年ENIAC问世时,人们也意识不到,计算机会在半个世纪后,成为支撑社会运转、科技创新的基础设施;
即便是2005年,人们也想象不到无需现金,仅用一部手机就可以解决衣食住行的几乎所有需求;无需单独的相机,也可以随时随地记录身边的点滴。
每当颠覆性技术诞生时,人们总会低估它给社会经济带来的影响,只有在数十年后对历史加以总结时,它的价值才会被定义。
就像比尔・盖茨所说:我们总是高估在一年中能够做到的,而低估五年或者十年中能够做到的。
如今,这个主角轮到了“人工智能”。
2022年,AI产业链初步完善,各行业需求不断涌现,从业者们高举「AI进入千行百业」旗帜扩大市场,一些先行者更是成功IPO。
降本增效、数字化转型、数字经济……纷纷成为当下AI产业化相关的热点词汇。引领第四次工业革命和生产力的迭代,AI的这些价值更是多方共识。
但10年后、50年后的AI图景,没有人能够清晰描绘。AI的发展是否会像今天我们所预测和定义的那样——
以我们当前的视野,给不出准确答案。
面对AI的星辰大海,我们才刚离开地球表面。
身处产业变革的漩涡之中,或许很难看到AI的终局,但AI算法的“超大规模”和“精细化”,至少是通往这一终局的必经之路。
超大规模和精细化趋势下,AI亟待工业革命
所谓超大规模,即AI算法无处不在——
算法数量会像APP数量一样,呈爆炸式增长,深入到生产、工作、生活的每一个细枝末节,成为城市管理、企业发展的重要资产。
正如今天智能手机应用商店中动辄数百万的APP种类,算法几乎覆盖了各类人群、各行各业的各种需求。其中有很多,都已成为了我们的日常生活的一部分。
所谓精细化,即单一AI算法的功能会越来越细分,而无数个细小的AI算法,会根据不同行业、不同场景、不同设备的使用需求,组合成复杂度极高的AI应用。
在这样的趋势下,很快,每一个我们习以为常的AI应用,可能都会成为由成百上千种算法组成的复杂智能体。
精细化也会带来AI的场景化,换言之,即是需要根据客户自身的实际情况和需求特点,针对性地训练适用于不同垂直和细分场景的AI算法。
但随着场景的不断发掘,来自客户的定制化需求数量也会快速激增,这会给AI的落地带来更多挑战,针对每一个需求专项定制不仅增加成本,还会拖慢落地周期。
仅看社区管理一域,算法需求就包含垃圾溢出、高空抛物、口罩检测、车辆违停识别、电动车进电梯、住户居民摔倒、电梯困人等大量细碎需求。制造、能源等领域也类似。
而同一个模型在不同场景,其适用程度也不相同。
以火焰烟雾识别为例,放在社区街道,有人点烟肯定无需报警,放工地里,火花大如电焊也无需提醒,但在加油站,需求又变成一点火星也不能放过。
这些场景虽然给算法带来了大量碎片化的长尾需求,但仍是社区管理智能化必不可少的一环。
然而这类长尾场景有一个显著的特点,那就是样本数据稀少,可用于训练的高质量数据集更是奢侈品。
因此,在开发过程中,很多时候需要现场采集数据进行初代训练,并在算法上线后持续迭代。只有经验丰富的算法工程师才能在有限数据量下,训练出一个精度还不错的算法。
而在“超大规模”和“精细化”趋势下,AI算法的终端部署适配,更是AI落地又一大隐藏痛点。
算法要想使用效果好,芯片适配是必要的过程。
这项工作展开说,要针对不同芯片,编写不同工具链的开发工具包,还要针对终端芯片性能进行量化调整,以尽可能提高芯片的利用率。
目前,市场大部分AI企业只做适配了NVIDIA、高通等主流品牌及自研芯片,如若用户所用芯片不在适配范围内,就需要额外花费至少2~3个月的时间进行单独适配,即便如此,芯片的利用率可能仍只有不到10%,造成极大资源浪费。
在传统的开发模式下,从业务问题的定义,到数据的采集和标注,算法模型的设计、调参、训练、调优,再到模型的芯片适配和性能评估——
整个链条不仅繁杂、周期长,且需要大量的人工参与,整个过程通常往往需要数月之久。算法利用率的不确定性,更会增加算力成本。
这种“必须人工,才能智能”的工匠精神,在面对未来的海量需求时,就会力不从心。
用手工划船,不可能离开地球表面。大家期待AI能够带来第四次工业革命,解放更多劳动密集型的工作,但AI自身,却又成为了劳动密集型产业。大量研究院和工程师们的重复劳动,又有谁来解放?
此外,深入产业落地,也需在标准化与定制化的博弈中左右抉择。
此前,算法SDK、SaaS服务盛行,很多企业希望借此逐渐将产品标准化,实现规模发展。结果却发现,AI越是深入产业,碎片化、非标准化需求越多,依靠单一模型通用解决所有问题的是一个行不通的商业模式。
而做定制化方案、总包集成项目,又会陷入成本高、利润低、赚不到钱的困局,成为AI企业们不愿意接的苦力活。
AI产业化供需之间的巨大沟壑,商业模式的束缚,亟待生产力和生产关系的重构。AI自身,也需要一次工业革命。
AutoML,告别手摇织布机的AI时代
其实,各路前沿玩家很早就意识到了这个兆头,并开始着手解决。
有人增派人手潜心深入行业,对新增算法逐一研发,躬身入局与行业强绑定,初期就着手构建完整方案教育市场,下场做了很多集成工作。
也有人上马超算中心,建立大模型大装置,希望能一口气解决所有问题。
还有一种新的方式,不但要做到AI开发的“降本增效”,还要降低使用门槛形成行业普及——
用AI的方式解决AI需求,其底层技术来自AutoML,主打两个字:高效。
技如其名,AutoML指的是在机器学习各阶段减少人工参与,把“工匠手工打造”变成“流水线自动化作业”。
从模型的结构设计到调超参、从训练到模型的精简压缩、还有芯片的适配和部署……在不同阶段采用自动化方案,让机器替代人工完成调参、数据处理等等繁复工作。
核心理念即用AI训练AI。
因AutoML将对原有底层框架、以及合作模式的重塑,有圈内人将其称为:人工智能2.0阶段的标志。
作为AutoML的提出和尝鲜者,谷歌已经快速进行了相关布局,还有一些初创公司,也积极开展AutoML创新,成为AI行业赋能百业的践行者。
革新AI的生产力和生产关系
反映到实际的产业应用中,AutoML有多高效?
深圳初创公司“共达地”的两名产品经理基于公司的自动化训练平台,只用2~3周时间,便快速训练完成了超过100个算法,涵盖了目标检测追踪、图像分类、语义分割、姿态检测、3D检测等五个大类视觉算法,覆盖80+个碎片化应用场景以及70+款AI芯片。
简单换算的话,原本算法开发到部署需要至少半年,现以自动化方式,半天就能完成,效率指数级增长。
但将AutoML全面带向商业市场,还需要从客户价值角度出发,帮助客户以更低的成本快速上手,创造生产力的革新;同时,联动产业上下游,优化产业的供需体系,实现生产关系的重塑。
首先,是生产力的革新。
虽说AutoML号称「自动」,但对非AI技术出身的产品经理、数据分析师等群体来说,仍属于「搞不明白」的头痛工具。
有别于科技巨头仅用其提升内部技术人员工作效率,共达地在开发Pipeline上进行全链条自动化改造,让不懂AI的业务人员也能使用AI,大幅降低AI的使用门槛,做企业背后的无限的AI生产力。
从图中可以看出,共达地全流程实现了0代码低门槛使用AutoML训练自己想要的AI,用户只需要简单的点选按钮,就可以根据自身需求,自助式上传训练数据,平台即可自主完成模型设计、训练和调参,短时间内就可训练出一个高质量的AI视觉算法。
目前,该平台已覆盖行业90%以上常见任务,大类涵盖:检测、分割、分类、人体、3D等方面算法。数据采集标注也可交给共达地合作方,产品经理和业务专家们只需负责定义需求,即可快速完成落地,实现“定义即所得”。
由于现实中,很多中小企业对于碎片化场景算法有迫切需求,该团队还联合数据厂商,快速推出了自动化「算法商城」——
让客户能够以0代码、即插即用的方式,快速将AI算法应用于自身业务链条当中,实现智能化升级。
目前,这一商城包含近百个场景,适配70余款芯片的5000多种高精度算法,供客户直接使用。
第二,是生产关系的重塑。
通过开放赋能,将AI交付能力赋予广泛的生态合作伙伴,共同践行将AI赋能百业。
目前,AI产业链囊括了数据厂商、芯片厂商、基础设施厂商等多个不同环节的角色,共达地企业定位于开放,因此,在通过AutoML平台重塑产业链的过程,保持了对各环节伙伴的充分开放性。
以针对芯片厂商的适配为例。
由于不同芯片平台都会基于自身芯片硬件架构特性,开发自己的工具链,在AI模型生成和部署环节中,需要兼顾各个不同芯片平台的硬件适配性和利用率。
共达地AI平台在SDK层面会整合不同工具链,完成模型到终端芯片的自适应转换,满足AutoML训练平台生成的模型能够一键下发至终端设备,并让AI算法模型发挥充分效能。
基于AutoML的高效,共达地完成了几乎所有主流芯片与盒子的预适配,可以将芯片利用率提升至50~60%,相较于10%利用率的行业普遍水平,大大提升了算力效能。
不仅仅是量变,更是产业变革的奇点
从过去一个算法需要一群AI工程师专项开发数月时间,到如今一个身处业务一线、不懂算法开发或代码编程的产品经理,一键三连,就可以根据自身需求,高效率地自主生产高质量的算法。
AutoML带来的不仅仅是量变,更是产业变革的奇点。
当前,已有越来越多圈内企业开始应用AutoML技术改变AI开发模式。很多企业正是受益于共达地的自动化训练平台和算法商城。
基于AutoML技术,共达地与客户共创共建,针对各行各业海量的垂直和细分领域的场景化AI需求,共同进行业务问题的定义,帮助客户实现算法的高效定制及下发部署,快速满足各类定制化需求,提高开发效率,降低人力和研发成本,与客户合作共赢。
例如央企旗下城市服务科技公司,平安智慧城市,就放手尝试应用AutoML技术为其生产多场景的算法。
通过共达地的自动化训练平台,平安智慧城市的开发者无需编代码,即可进行违规停车检测、井盖丢失或损坏检测、烟火检测、占道经营检测等碎片化场景的算法模型训练,还能一键到端部署。这一过程中,一路算法开发到部署花费时间最快只需数小时。
又如,在智慧交通的应用场景中,湖南省某市的交通管理部门在建设相关项目时,千视通便使用了共达地的AutoML自动化训练平台,定制了“行车未系安全带识别”、“行车打电话识别”等有关安全驾驶的一系列相关AI视觉算法。
在几乎没有投入AI算法工程师的情况下,两周之内便完成了各类复杂交通场景下的AI算法模型训练。
这些案例也都鲜明地印证了AutoML对于AI超大规模和精细化发展的不可或缺性——
让AI应用从只由几个算法整合而成、只能完成单一任务的简单智能体,逐渐进化成由海量算法构成、具有综合能力的复杂智能体,从而完成各式各样的复杂任务。
如果将AI比作一架飞机,那么初始的AI应用就像莱特兄弟打造的第一架飞机,结构简陋,只能飞行12秒。而未来的AI应用,就像今天动辄数百万零部件的客运飞机,每天都可以把人从地球一端送到另一端的目的地。
正如共达地的公司寓意“共同到达目的地”,帮助别人成功的同时,自己也获得成功。
对此,共达地创始人兼CEO赵丛还有个有趣的总结:做AI不一定要成立AI团队。
对企业来说,通过共达地自动化训练平台,可以让碎片化的中长尾场景的AI算法快速落地,部署后也能快速优化迭代、持续升级,从而不断获得附加价值。
0代码低门槛的开发方式,也将AI人才的门槛降到最低,赋能集成商、方案商、渠道商快速具备靠谱的AI能力,让AI算法的开发不再成为发展的负担,而是化作提高竞争力和效率的武器。
更进一步看,有了自动化训练平台和算法商城,共达地无需踏入行业一线做总包集成项目、无需触碰最终应用,而是成为企业背后的算法赋能者,用AI生产力和生产关系的变革,创造新的商业模式——
通过降低AI技术的单位应用成本,逐步帮助上下游企业进行AI技术赋能,大家形成长期且深度的合作,依托它们进入各个行业,最终实现规模效应,完成AI赋能百业的目标。
降低单位成本,用规模效应描绘AI未来
回看开篇所述,人们之所以会低估颠覆性创新技术所带来的价值,或许正是因为,这项技术尚未实现规模化效应,其应用的成本并没有降低到行业所能接受之程度。
《Prediction Machines》一书中提到,某种基础产品的价格大幅下跌时,整个世界都可能发生变化。
蒸汽机的出现,并没有立即点燃工业革命,而是在单位成本下降,得到大规模应用后,才开启了以机器代替手工劳动的时代。
电子管计算机的出现,也没有立即掀起人类的科技革命,直到超大规模集成电路的出现,加上电子设计自动化的逐步发展,才真正推动了PC走入千家万户。
AI时代,这一幕又再次上演。
在AI规模化落地,并以赋能百业为目标的大趋势下,挑战即是机遇。倘若不彻底改变成本高昂、效率低下的传统开发路径,经济性的不足,会严重阻碍人工智能的发展。
而以颠覆性的效率革新,实现AI算法的批量式、大规模生产,并快速投入到产业的毛细血管当中,帮助客户以指数级的效能提升,构建数字化转型的核心资产,才可能让AI走进各行各业。
没有时刻追求耀眼,却在脚踏实地地提供行业新思路。用技术创新掀起AI的规模效应,或许这,就是共达地相信的AI未来。
- Sora突遭泄露!能力又进化了,OpenAI紧急拔线,抗议联名信惊现马斯克2024-11-27
- 黄仁勋港科大之行全程高能:对话沈向洋,现场发显卡,与梁朝伟共同获得荣誉博士学位2024-11-25
- 王炸!谁能想到年底杀出的黑马是美图啊2024-11-22
- 汽车上的《Her》:模型竟然想做个人了,甩掉机械感,来自吉利2024-11-22