常常通过查看组织内部对人工智能(AI)的采用来跟踪其成功与否。采用率是一个很有价值的指标，但是并不能说明全部。人工智能只有在产生投资回报率(ROI)时才能兑现承诺。

麦肯锡2020年人工智能状态报告显示，只有22%的组织报告了人工智能的量化价值。这些组织发现，至少有5%的EBIT(息税前利润)可归因于人工智能。

令人惊讶的是，许多组织并未认真考虑其分析投资所产生的结果。那些追踪结果的企业无法量化其价值。当高管们看不到人工智能带来的量化价值时，他们就不太可能投资于人工智能。

您应该如何从AI计算投资回报率?追踪机器学习(ML)计划的价值并不容易。它涉及的不仅仅是捕获数字或系统地跟踪它们。

衡量投资回报率的挑战

从高级分析中量化业务价值有两个主要障碍：

不清楚的业务结果：分析计划的结果通常是模糊的;例如，提高运营效率，提高员工士气或提高品牌价值。您可以客观地衡量它们吗?您得出的任何接近估计都可能会令人怀疑。

难以归因于结果：当您注意到结果有可衡量的改善时，您是否可以确定，正是由数据驱动的决策才是最重要的?例如，迪士尼+于2019年11月推出。它获得了9500万订户，超过了其在14个月内实现的四年目标。

值得庆幸的是，有一些方法可以衡量分析计划的结果并科学地进行归因。

从人工智能量化投资回报率的4个步骤

这是一个框架，可帮助您从ML计划中发现价值。

步骤1：定义业务成功指标

甚至在选择AI作为首选技术之前，您还必须确定业务问题并确定用户的成功前景。通过识别短期或“领先指标”和长期或“滞后指标”来描绘结果。

一家全国性的零售银行希望解决客户支出低的挑战，而该支出恰好低于行业平均水平。产品团队决定跟踪客户交易和投资组合的传播。这些是最终推动客户支出的早期或“超前指标”，即最终结果或“滞后指标”。

步骤2：通过收集数据来衡量结果

定义结果后，请选择指标以衡量指标并收集所需的数据。至关重要的是，不受已收集数据的限制。

通常，将需要更改现有系统或建立全新的过程来收集新数据。在设置项目时，您必须提前计划这些，而不仅仅是在项目上线之前。

在较早的示例中，零售银行团队选择了两个指标来衡量潜在指标：每月客户交易数和每个客户的平均产品数。滞后指标通过两个指标进行衡量-每个客户的平均收入和客户钱包的百分比份额。在采购数据时，产品团队意识到他们没有跟踪钱包的份额。他们决定从市场研究公司购买此数据。

步骤3：在结果与分析之间建立联系

当指标不断涌入时，下一个要解决的挑战就是归因。随机对照试验(RCT)或A / B测试是一种流行的技术，可以帮助您找出项目造成的影响。

您将用户群分为两组，并将AI推荐的决策应用于“测试组”。保持“对照组”不变以达到基准测试结果。现在，您可以将测试组性能的任何改进追溯到您的计划。

一家全球电信公司决定解决客户流失问题。它预测下个月会吸引哪些客户。它将400万客户群分为一个测试组，并为预计会流失的客户进行了促销。控制库保留了一切照旧的做法。一个月后，测试组的流失率为1.8%，而对照组的流失率为4.3%。因此，很明显，分析技术帮助他们减少了57%的客户流失率。

第4步：通过考虑所有费用来计算投资回报率

在量化结果之后，您还必须确定总成本。人工智能需要投资，例如专门的硬件，软件，多技能的团队和变更管理计划。

此外，还存在收集和标记大量数据的费用以及ML模型应用程序编程接口(API)的订阅费用。其中一些可能变得不可预测。将所有这些因素相加即可得出您的总拥有成本(TCO)，并找出何时可以使AI支出达到收支平衡。

AI Dungeon(AID)是使用AI的免费文字冒险游戏。与受预写内容约束的传统游戏不同，AID可以即时生成无限的故事情节。它由OpenAI的流行语言模型GPT-2提供支持。它迅速传播开来，并在一周内获得了100,000名玩家。但是，由于这种意外的增长，其云计算成本从每天几百美元急剧上升到每天超过50,000美元。必须关闭AID并重新启动架构更改，以将AI基础架构成本削减90%。

您需要转变思维方式以连续跟踪来自AI的ROI

与期望相反，从AI跟踪ROI不是纯粹的定量操作。正如我们在四个步骤中看到的那样，这需要改变心态。

您必须从结果开始，通过收集新数据进行度量，在与项目建立联系方面要有创造力，并不断跟踪重复发生的成本或非直觉成本。

最近，首席信息官(CIO)问我：“衡量客户流失预测项目的ROI的最佳方法是什么? ”我首先要求他重申项目目标。我告诉惊讶的CIO：“主要目的不是预测客户流失，而是通过留住客户来提高收入。 ”它不涉及技术更改。但是，这会触发团队思维方式的转变，并使他们更加注重结果。这是您必须开始从AI获得ROI的地方。