0


AI在行业中落地的思考与实践

引言部分

在当今快速发展的技术时代,人工智能(AI)已经成为推动社会进步和经济发展的关键力量。从医疗健康、金融服务到智能制造,AI的应用前景广阔,其潜力无限。然而,AI的落地应用并非一帆风顺,它面临着技术理解、数据获取、行业经验等多方面的挑战。本文旨在深入探讨AI落地的思考与实践,通过分析AI落地的三大要素、垂直领域落地的路径以及AI在业务流程中的融合与创新,提出有效的策略和解决方案,以促进AI技术的实际应用和产业化进程

AI行业落地三要素

在这个信息爆炸的时代,AI技术的快速发展正引领着一场未来工作和生活方式的革命。要想让AI技术真正“落地”,我们需要关注三个关键要素:AI技术框架与模型能力理解、行业数据获取、以及丰富的行业经验和工作流知识。

AI技术框架与模型能力理解

首先,我们得谈谈AI技术框架及其模型能力边界的理解。这不仅仅是关于大模型与传统技术的融合,还涉及到对AI技术潜能的深刻洞察。大模型,例如GPT和BERT,已经显示出其在处理复杂数据时的巨大潜力,尤其是在理解和生成自然语言方面。但要充分发挥这些技术的力量,我们需要对它们如何与传统技术融合、特别是大模型/专有模型擅长或者不擅长有一个深刻的理解。

行业数据获取

接下来是行业数据的获取。不论是工业、医疗、制造还是政务,每个领域都有其独特的预训练数据集和专家标注过的数据集合。这些数据是AI模型学习和适应特定行业需求的基础。但获取这些数据并非易事,它要求我们有能力深入行业,理解其数据生成和收集的过程,以及如何有效地利用这些数据。

丰富的行业经验和工作流知识

最后,丰富的行业经验和对工作流的深入了解是AI落地不可或缺的一环。理论和技术是基础,但真正的挑战在于如何将AI技术应用到具体的业务流程中,实现价值最大化。这需要深入行业内部,理解其痛点和需求,从而设计出能够真正解决问题的AI解决方案。

综上所述,AI落地的三要素是相互关联、相辅相成的。没有深刻的技术理解,就无法有效利用行业数据;没有丰富的行业经验,就难以将AI技术有效融入工作流中。只有这三者齐头并进,我们才能真正推动AI技术的落地,创造出真正的商业和社会价值。

算法篇:垂直行业领域算法落地的两种路径

在AI技术落地的过程中,尤其是针对具体的垂直领域,存在两条主要的路径。这两种路径各有其优势和局限,选择哪一条往往取决于具体的应用场景、成本效益分析以及期望达到的精确度。

1. 在基础大语言模型上进行Fine-tuning

第一种路径是利用行业的垂直领域数据集,在基础大语言模型的基础上进行Fine-tuning,以此打造出一个精度更高的垂直领域大模型。这种方法的优点在于能够利用大模型强大的通用性能,通过相对较小的垂直领域数据集进行定制化调整,以适应特定的行业需求。这种方法适用于那些基础模型已经具有一定程度上的行业相关知识,但需要进一步优化以提高特定任务表现的场景。

2. 直接训练垂直领域的预训练模型

另一条路径则是直接使用垂直领域的数据训练一个规模较小的预训练模型。这种方法的优点是模型从一开始就专注于特定领域的知识,可能在该领域的特定任务上表现得更好。然而,这种方法的挑战在于需要大量的高质量垂直领域数据,且模型的通用性可能较差。

选择哪一种路径,需要基于对场景的具体分析。

过去,人工智能主要处理结构化数据,但人类社会的核心数据大多是非结构化的,这为AI技术的应用提供了更广阔的空间。

大模型的出现,使得我们能够以前所未有的方式处理这些非结构化数据,可以重构信息处理的链条和Pipeline和工作流,通过把语言、文字甚至结构化的时序数据纳入到基础模型中,实现了真正意义上的多模态理解和预测,下图是微软亚洲研究院在产业解决方案做的一些研究工作:

无论是金融领域的量价数据(数值类)和文本资讯类(文本类)数据,还是医疗领域的时序数据(数值类)和电子病历(文本类)等多模态数据,通过上述两种路径中的合适选择,AI都能够提供综合的预测或决策结果,大大推动行业的智能化进程。

在探索垂直领域落地的路径时,重要的是理解大模型不仅仅是一种技术工具,更是重构信息处理链条和工作流的新方式。随着技术的进步和应用场景的深入,选择合适的落地路径将成为实现AI价值最大化的关键。

数据篇:大模型的训练所需要的数据

要训练一个功能强大的AI大模型,我们需要三种主要类型的数据:用于预训练的广泛数据、用于对齐层面优化的高质量数据集,以及用于训练多模态模型的关联性数据。

1. 预训练数据(解决数据量不够的问题)

预训练是构建大模型的基础步骤,它需要大量的、广泛的数据。这些数据不需要是标注过的,因为预训练的目的在于让模型理解语言、图像或其他类型数据的基本结构。

高质量的文本类原始语料:金融领域的预训练数据可能包括大量的专业文章、新闻报道,而医疗领域则可能涉及病例报告、医学研究论文等。

波形时序数据:比如医疗场景中脑电、心电等数据;金融场景中的股票和各种资产类别的量价数据

2.对齐层面的数据(解决数据质量的问题)

对齐层面的数据是指那些已经被专家标注过的高质量数据集。这类数据用于Fine-tuning/Instruction Tuning阶段,帮助模型在特定任务上达到更高的精确度。这些数据的价值在于它们凝聚了专家的知识和经验,是非常宝贵的资源。

对于文本类数据:基于具体的任务几百条,人类预期的理想答案是什么?比较好的问答对(Q&A)要有人写做到对齐,要百数量级的标注数据
对于数值类数据:和专家经验与人类行为相关的数据,设定值以及其对应的反馈值,数据价值会更高

3.多模态数据(解决数据的关联性问题)

最后,多模态数据的训练是为了解决数据关联性问题,即如何使模型能够理解和处理不同类型数据之间的关联。这对于训练一个能够处理复杂场景的大模型至关重要。多模态数据可以包括文本信息、图像、视频以及时序数据等,它们之间的关联性是通过标注或者是特定的数据结构来实现的。

例如在医疗领域的场景中,需要对于不同的数据模态,进行对齐,对于一个发生心律失常的病人,什么时候用药,用药的效果如何,在心电图/血压/血氧上的表现形态如何,这一部分信息,需要有专家进行标注和判断。下图是在医院ICU中急性肾损伤相关病症的关联性表示,如果人工智能能够学习到相关病症之间的关联性,更有利于AI对于疾病的诊断和治疗的指导

算法+数据的结合:评估数据集的价值是关键

在AI项目中,数据不仅是燃料,更是推动模型性能提升的关键因素。因此,理解并评估数据的价值至关重要。评估数据价值的几个关键因素包括数据的独特性、实时性、质量、以及多模态性。

1. 专有性(独特性)

是否专有的数据往往决定了其价值的高低。拥有行业壁垒的数据,比如专业的医疗影像数据或者特定金融市场的交易数据,通常具有更高的价值,因为这类数据难以获取,能够提供独特的见解和预测能力。

2. 实时更新

在某些领域,数据的实时性极为重要。例如,对于金融市场分析或社交媒体趋势监测,实时更新的数据能够提供及时的洞察,帮助模型做出更准确的预测。

3. 数据质量

数据质量是评估数据价值的另一个关键因素。高质量的数据意味着较低的清理成本和再整理成本,同时也意味着数据在准确性、完整性和一致性方面的高标准。数据的这些属性直接影响训练效果和模型的可靠性。

4. 多模态性

多模态数据的存在能够极大地丰富模型的学习内容和场景适应性。能够提供时间标记对齐的不同模态数据,如视频数据配合语音解释和文本描述,能够帮助模型更好地理解复杂的现实世界情景。

5. 人类经验的记录

记录了行业专家经验和执行后反馈的数据具有无法替代的价值。这些数据不仅包含了行业知识,还蕴含了人类的决策逻辑,对于训练高级别决策支持系统尤为关键,大概分为两种:

专家经验执行后的反馈和结果的记录(其中蕴含了AI的知识和经验)——举例HVAC空调控制,人工智能可以记录空调暖通专家的控制过程和系统经其控制的反馈

行业专家根据自己的行业经验去整合,或者是抓取、汇聚,并且去挑选一些这种比较好的数据,其实是一个有价值的事情,因为他一个行业专家在挑选的过程中,其实就是把他的行业以及行业判断。给整合到了这个过程里面,并且通过数据的形式进行留存,比如说一个专业的投研专家,他们去抓取财经新闻,去收集这些信息,经过他们的过滤的数据非常有高度价值的事情

应用篇:AI价值的核心——预测、决策和执行

AI技术的核心价值在于其卓越的预测和决策能力。这一点不仅定义了AI的基本功能,也指明了AI技术在未来发展的方向和应用领域的无限可能性。

预测能力的革命性意义

在AI的世界里,预测能力是一切的基础。基础模型的第一性原理是「next token prediction」,即预测下一个Token的能力,通过分析历史数据和当前情况,AI能够预测未来的趋势、结果,甚至是潜在的行为模式。这种能力来源于Transformer架构的强大计算和分析能力,特别是在处理大规模非结构化数据方面的优势,除了类似于ChatGPT这样的大语言模型之外:

对于时序数据:把所有的T时刻的观察到的所有相关变量,预测T+1时刻会发生的事情

对于SORA这样目前最火的的视频生成算法:已知视频当前片段,推测下一片段token = spaceTime latent patch, 已知当前“时轮碎块” :推测下一个“时轮碎块”

预测能力的应用范围极为广泛,从简单的天气预报、资本市场走势预测和算法交易执行,到复杂的疾病发展预测、消费行为预测等,AI的预测能力正逐步渗透到社会生活的各个角落,帮助人类做出更加准确、高效的决策。

决策能力的深远影响

AI的决策能力则进一步扩展了其应用的深度和广度。在拥有了预测未来的能力基础上,AI通过复杂的算法和模型分析,能够在多种可能的选择中做出最优的决策。这种决策不仅基于数据分析,还能结合特定的目标、规则和偏好,实现高度定制化的决策支持。

在商业领域,AI的决策能力可以帮助企业优化供应链管理、风险控制、客户服务等多个方面,提高运营效率和竞争力。在医疗健康、城市管理、环境保护等领域,AI的决策能力也能发挥重要作用,帮助相关机构和个人做出更加科学、合理的决策

预测和决策的目的在于执行

基于预测和决策,AI商业化(即创造价值)的核心在执行,未来我们会讲到AI Agent,Agent的核心在于执行,可以根据环境或人的反馈不断调整规划,独立做判断和完成任务,未来是潜在LLM商业化的核心

综上所述,AI的价值核心,基于预测和决策的执行能力,不仅体现了AI技术的强大潜力,也指出了AI未来发展的关键方向。通过不断提高预测的准确性和决策的智能化,AI技术将在更多领域发挥出巨大的价值。

应用篇:行业落地需要与业务流程的融合

将AI技术融入业务流程,不仅是技术上的挑战,更是对业务理解和创新的考验。成功的融合能够极大提升业务效率、降低成本,并创造出全新的服务和产品。

深入理解业务流程、客户关系和需求

AI落地的第一步是深入理解业务流程、客户关系和客户需求。这意味着,AI项目不应该仅仅由技术人员推动,而需要跨部门的合作,包括业务、运营、市场等团队的密切配合。通过这种方式,AI解决方案能够更精准地解决实际问题,提供真正有价值的服务。

创新工作流程,创造新的数据集

在理解了业务的基础上,企业可以通过对工作流程的创新,创造出新的数据集。这些数据集不仅能为AI模型的训练提供原材料,更重要的是,它们能够帮助企业发现新的业务机会和提高决策质量。例如,通过分析客户互动数据,企业可以优化客户服务流程,提高客户满意度和忠诚度。

数据与核心业务的紧密结合

要实现AI的真正价值,关键在于将数据与核心业务紧密结合。这意味着,企业需要在现有系统中构建数据接口,并将AI技术融入业务流程中。通过实时产生和分析数据,企业能够更快响应市场变化,做出更加精准的业务决策。

应用+模型=数据飞轮

成功的AI项目往往能够创造出一个“数据飞轮”效应,即通过应用和模型的相互促进,不断提升数据的质量和应用的性能。这种飞轮效应能够为企业构建起难以复制的竞争优势,成为其持续创新和增长的驱动力。

总之,业务流程的融合不仅仅是将AI技术应用到现有流程中的简单过程,而是需要企业从战略层面深度考虑如何利用AI技术创新业务模式和工作流程。通过深入理解业务、创新工作流程,并将数据与核心业务紧密结合,企业可以充分发挥AI技术的潜力,实现业务的转型和升级。

应用篇:AI Agent工种工作流程的替代

在探索人工智能在各行各业的应用时,一个核心议题浮现:AI技术如何影响传统工种和职业?特别是,随着垂直行业内AI Agent的发展,人们对于通用大模型的实用性和有效性提出了质疑。金融行业就是一个典型例子,它包含了从人力资源到财务、法务等多种不同的工种,每个工种都有其独特的工作流程和知识需求,这提示我们单一的AI解决方案可能难以满足所有需求。

垂直行业的AI Agent

事实上,垂直行业的AI Agent展示了一种更加细分和专业化的趋势,很可能垂直领域的大模型是没有价值的,但是针对某一个行业中的特定工种或者特定的工作流程是由很高的价值的:比如,针对金融行业,我们可能需要专门针对投资咨询、财务分析等不同领域开发不同的AI Agent。这种专业化的趋势挑战了通用大模型的适用性,引发了行业内外对于“通用大模型是否为伪命题”的讨论。

自下而上的关注

在这个AI Agent的时代,评估AI技术的替代潜力应该自下而上地进行,即从具体的工种和工序出发,而非泛泛地讨论整个行业。这种方法不仅能够更准确地评估AI技术在特定工种中的应用价值,也为设计符合实际需求的AI解决方案提供了基础。

AI与工种的结合

当我们探讨AI在特定职业中的替代潜力时,我们不仅看到了技术的进步,也看到了人机协作模式的变革。AI技术,尤其是针对特定工种设计的AI Agent,不仅能够替代一些重复性高的工作,还能够在复杂的决策制定、创造性任务中协助人类,释放人类的创造力。

此外,人机协作的成功极大依赖于清晰的工作流程、界面和职责划分,以及强大的错误预防和纠正机制。这不仅是技术上的挑战,也是组织管理和流程设计上的重要课题。

正如人可能会出错一样, AI也会出错和出现幻觉,除了提高算法能力和工程能力等技术手段外,要通过各种流程、制度规范,多人协作机制实现更低错误率,并且形成纠错机制,减少错误发生概率

通过深入分析“工种的替代(AI Agent)”,我们可以看到AI技术对于未来工作方式的深远影响。它不仅关系到技术的发展方向,更关系到我们如何设计和组织工作,以及如何在新的人机合作模式下最大化生产力和创造力。

应用篇:组织重塑:从单一工种到工种协同

随着AI技术的不断进步,传统的组织结构和工作模式正面临着前所未有的挑战和变革。AI不仅在单一工种中展现出其替代和辅助人类的潜力,更在于如何将不同的AI Agent集成到组织中,实现更高效、更灵活的工作流程。

多Agent的协作系统

未来的工作场景将不再是单一Agent单独作业,而是多个AI Agents和人类员工共同参与的协作系统。这种系统能够处理更复杂的任务,提供更全面的解决方案。例如,在一个制造企业中,设计、生产、质量控制等不同环节可能由专门的AI Agents负责,它们之间通过高效的信息交换和任务协调,共同优化生产流程。

组织形态的变化

随着AI技术的融入,组织形态也在悄然发生变化。从以人为中心的单一工种作业,转变为AI和人类共同作业的协同模式。这不仅要求组织在技术层面上进行创新,更要在管理和文化层面上进行适应和调整,比如如何管理AI员工,如何促进人机之间的有效沟通等。

未来超级个体的兴起

AI技术的发展也预示着超级个体的兴起。在某些领域,个别高性能的AI Agent或者高度协同的AI群体可能比整个团队的工作效率更高。这将引发对于个体能力、团队组织和人才培养方式的重新思考。

AI与人类的深度融合

组织重塑的核心在于AI与人类的深度融合。AI技术的引入不仅是增加一个工具或者替代某些工作,更是一种全新的工作伙伴。这种伙伴关系要求我们重新定义工作内容、工作方式和价值评估标准,实现人机协同的最大化价值。

在“组织重塑:从单一工种到工种协同”的过程中,我们看到了组织结构、工作方式乃至社会生产关系的根本变革。通过AI技术的合理应用和管理,未来的组织将更加灵活、高效,能够快速响应市场变化,促进创新和发展。

应用篇:生产力的变革和发展

随着人工智能技术的快速发展和广泛应用,我们正处在一个生产力变革的新时代。这场变革不仅仅是关于技术本身的进步,更是关于人类如何利用这些技术来提升生产效率、创新工作方式和改善生活质量的全面革命。

第四次工业革命:解放人类的大脑

人工智能革命被视为第四次工业革命的核心,其区别于前三次革命的显著特点在于它解放了人类的大脑。如果说蒸汽机解放了人类的双手,使得生产力得到了飞跃性的增长,那么AI技术的发展则是在解放人类的思维,让机器不仅能够执行人的命令,更能够进行学习、推理和创造,处理以往需要高度智能才能完成的任务。

丹尼尔卡尼曼的《思考,快与慢》提到了:系统一,快思考;系统二,慢思考。大型语言模型目前更多具备系统一的能力。它们能够本能地响应,但无法像人类那样通过可能性树进行深入思考和推理。它们只是按顺序生成单词,就像是在不断消耗单词块。目前一个重要的方向,希望为大型语言模型提供类似系统二的慢思考的能力《Convert Time To Accuracy》。

促进创造力和内心世界的探索

人工智能的发展不仅提高了工作效率,更重要的是为人类提供了更多的空间去探索自我、发挥创造力和关注内心世界。在AI承担了更多重复性和计算密集型的任务后,人们可以将更多的精力投入到创新、艺术创作、战略规划等高层次的认知活动中,包括对于自身情感和情绪的深度探索,进一步推动人类成长和科技的发展。

商业模式篇:创业创新机会

在人工智能的时代,新公司和老公司都面临着前所未有的机遇和挑战,它们在探索和利用AI带来的创新机会上各有侧重。

新公司(Startup)

新公司,尤其是初创企业,处于一个非常有利的位置,可以利用AI技术探索和开创新的工作流程。这些公司通常不受传统业务流程的限制,因此更加灵活,可以快速适应技术变革,专注于通过数据飞轮和用户反馈来改进模型和算法。初创公司通过AI技术可以建立起人少但高效的团队,他们倾向于打破常规,通过技术创新来寻找市场缝隙,提供前所未有的产品和服务。

老公司(大企业)

相比之下,老公司拥有丰富的行业经验、稳定的客户基础和强大的资源支持,它们更多的是在现有业务流程中整合AI技术,进行优化和改进。这种策略帮助它们减少工作流中机械化工作的人员参与,降低成本同时提高效率。老公司通过深化技术应用,可以加强其市场地位,提升竞争力,但它们需要克服改变既有流程和文化的挑战。

AI技术在ToB和ToC领域提供了不同的创新路径和机遇,它们分别关注于服务企业和最终消费者。

ToB领域

在ToB领域,AI的应用更加专注于为企业交付一个工作流,帮助它们解决特定的业务问题。这要求AI企业深入理解行业特点和客户需求,提供精确的数据分析、工作流程优化等服务。在这个领域,AI不仅仅是技术供应商,更是企业战略伙伴,通过深度协作,共同推动业务创新和发展。

ToC领域

相比之下,在ToC领域,AI技术的核心在于提供极致的产品和用户体验。如果(新体验-旧体验)大于替换成本,就很容易进行替代,因此AI Native的应用,应当是10x于过往的用户体验。这里的关键在于如何利用AI对于生产力的提高以降低研发成本,同时创造新的数量级的体验,以此来吸引和留住消费者。

个性化服务的重要性

无论是ToB还是ToC,个性化服务都成为AI技术应用的重要趋势。在ToB领域,这意味着根据每个企业的具体需求定制解决方案;而在ToC领域,则是根据每个消费者的偏好提供个性化的产品和服务。通过数据分析和机器学习,AI能够帮助企业更好地理解他们的客户,提供更加精准和有效的服务。

总之,无论是面向企业还是消费者,AI技术都在开辟新的创业和创新机会。对于新公司和老公司而言,如何利用AI技术不仅仅是技术问题,更是战略选择的问题。在这个快速变化的市场中,灵活应用AI,不断创新将是企业成功的关键。

结论

随着人工智能技术的不断进步,AI落地成为了众多行业关注的焦点。从技术框架与能力理解、行业数据的获取,到丰富的行业经验和工作流知识,这三大要素共同构成了AI落地的基础。通过探讨垂直领域落地的两种路径——基于大模型的Fine-tune与从头训练垂直领域的小模型,我们认识到,针对不同的业务需求和成本效益考量,企业需要选择最适合自己的AI实施策略。

此外,AI模型训练所需的数据类型,包括预训练数据、对齐层面的数据以及多模态数据,是保证模型有效性的关键。而在数据选择时,其专有性、实时更新能力、质量、多模态性以及人类经验的融入,是评估数据价值的重要标准。

AI技术的价值核心在于其预测和决策能力,这一点在通过业务流程的融合中得到了充分体现。企业通过深入理解自身的业务流程,探索AI技术的应用场景,不仅能够提高工作效率,还能够为客户提供更加优质的服务,从而在激烈的市场竞争中获得优势。

总之,AI的落地实践是一个复杂而多维的过程,它要求企业不仅要有深入的技术理解和丰富的行业经验,还需要对数据的质量和适用性有准确的把握。未来,随着AI技术的不断发展和应用场景的不断拓展,我们有理由相信,AI将在更多领域展现出其独特的价值和潜力。

标签: 人工智能

本文转载自: https://blog.csdn.net/weixin_56320930/article/details/136188786
版权归原作者 比特大脑 所有, 如有侵权,请联系我们删除。

“AI在行业中落地的思考与实践”的评论:

还没有评论