可怜的数据科学是数字化转型失败的原因吗


  我们研究为什么数据科学项目以如此惊人的速度失败,以及数据科学团队可以做些什么来提高他们的成功率。

  公司正在以前所未有的速度推进数字化转型。 49%的CIO 报告说他们的企业已经改变了他们的商业模式或者正在这样做。这些由数据科学和机器学习提供支持的转型包括来自企业的重大技术投资。根据 MarketsandMarkets?,整个数据科学平台市场预计将从2016年的195.8亿美元增长到2021年的1013.7亿美元。

  不幸的是,这些投资的结果非常明显: 85%的大数据项目都失败了。我采访了dotData的创始人兼首席执行官Ryohei Fujimaki博士,NEC分拆专注于企业的数据科学自动化。dotData开发了一个全自动数据科学平台,通过从源数据到机器学习的整个数据科学过程的民主化,操作和加速,加速实现价值的时间。它利用基于AI的特征工程,这是一种将给定数据转换为易于解释的形式的方法,并自动应用数据转换,清理,规范化,聚合和组合,并处理数百个具有复杂关系和数十亿行的表到一个功能表,自动化大多数手动数据科学项目。因此,该平台消除了整个数据科学过程中最耗时,劳动力和技能密集的方面。

  可怜的数据科学是数字化转型失败的原因吗?

  我想找出为什么数据科学项目以如此惊人的速度失败,以及数据科学团队可以做些什么来提高他们的成功率。Ryohei提供了一系列关于挑战的见解以及他的公司如何通过数据科学来应对这些挑战:

  数字化转型的基本原则之一是使用数据来识别和推动业务用例。但是,如果数据不足或不够好,结果很差。Ryohei认为,这一点,加上缓慢的流程是一个关键的失败点,因为它“在了解结果之前需要过多的前期努力。公司投入了努力,但因为数据不佳和/或不足,所以结果不好因为转了很长时间,这是一个很大的问题。“

  通过dotData的机器学习平台,Ryohei详细说明:“通常需要数月的分析,我们可以缩短两到三天。我们可以判断他们是否会失败,看看他们需要付出更多努力。”

  Ryohei表示,“数据科学团队可以在实验环境中提供数据学习模型和机器学习;但是,必须部署机器学习或数据科学项目并将其集成到业务流程中。”

  他回忆了与美国电信公司的首席数据官谈话的情景,其中一个实验模型在实践中未能实现炒作。部分问题是数据科学团队不了解生产环境,这可能导致有限的结果或失败:

  “实验和生产模型不同,业务要求和IT要求都非常不同。在实验环境中有效的方法并不一定适用于生产环境。”

  这个过程的一部分也是关于管理期望。Ryohei解释说,“有时商业人士确实认为数据科学是一个神奇的盒子,所以我们的短暂转变可以很快确定数据科学可以做什么,什么做不到。我们不想在3个月的努力之后说如果他们的期望是错位“。

  数据科学家是一种稀缺资源。传统上,数字化转型需要熟练掌握数据科学的熟练数据工程师。Ryohei声称,“为了取得成功,我们传统上需要一个非常强大的软件团队来理解机器学习 - 因此许多计划由于缺乏员工而失败。” dotData加速数据科学将熟练的数据科学家从手工工作中解放出来,使他们能够专注于解决问题而不是如何解决问题。这意味着团队可以提供十倍以上的项目,并通过其AI驱动的功能工程来增强业务洞察力。dotData的解决方案还通过使现有资源执行数据科学任务来使数据科学民主化。使用dotData GUI,数据科学任务变为五分钟操作,

  dotData最近被AI Breakthrough评为最佳机器学习平台奖得主, AI Breakthrough是一家领先的市场情报组织,致力于认可全球AI市场中的顶级公司,技术和产品。他们的客户来自一系列行业,包括银行,金融,制造,航空,电信和分析服务顾问,并包括财富全球250个客户。