人们将面临大数据无法进行预测分析挑战-CDA数据分析师官网

热线电话：13121318867

人们将面临大数据无法进行预测分析挑战

2017-07-09

人们将面临大数据无法进行预测分析挑战

你是否认为大数据时代会有足够多的信息来支持建立强大分析，其实不然。有的情况中即便大量数据也不能保证基本预测的正常运行。多数时间，我们没有做到更多的事，所以只能默默承受这事实坚持最基本的。这是为什么我们要讨论当面临大数据不能预测分析未来的挑战时的情况。

场景一

以某家航空公司制造商举例，事物很少却有大量数据就难找到有意义的模式。运行的飞机每小时产生数据可达千兆字节，发动机在不同条件下操作，分析操作数据好处很多。像是预测性维护，对于分析行为来说或许困难。

在考虑不同模型的时候，一年中可能只有几十个模型被生产出来。纵使飞机全部装满传感器，也很难开发有意义的预测部件故障模型。因为只有几十或几百架飞机，样品的数量太小。对于新飞机来说，会加剧问题出现几率。尽管收集了PB的数据，但没有足够大事件池，有效预测模型就不能真正构建。不过数据是可以监测，但并不是预测模式。

情景二

大量的事物和人需要分析大量数据。出现罕见的事件时，会遇到没有足够的样本来构建真正有效的预测模型。并不是分析数据和理解行为各方面没有很多价值。

再看计算机芯片的生产。全球每年产生数亿甚至数十亿片芯片，并且其速度在不断加快。几十年前，一千个或一万个的数量级缺陷可能是可以接受的。对于当今的芯片产品，其缺陷可能需要更接近百万级。曾经有客户提出，汽车行业面临着压力，需要将芯片缺陷率降低到十亿分之一或更低。因为如果实现这种低错误率，并且人们可以假设导致有缺陷芯片存在的原因，则对于任何特定的一组原因，其发生任何缺陷的实例会变少，人们可能没有足够的样本来分析，但能够产生良好的模型以预测这些失败可能发生的时间和地点。人们考虑到芯片技术将随着时间的推移而过时，在短短几年内被更新的产品所替代，因此，这可能是一个持续时间比较久的问题。

然而这只是样本。随着数据来源越来越多，企业用多个因素分析业务，异常样本出现在组织内部。人们只需关注一个小的宇宙来分析，或者通过一个令人难以置信的稀有事件来分析。更糟糕的是，这种罕见事件是小宇宙中的。假设只考虑数据与业务问题相关的情况，而那些不相关的数据将永远不会增加价值，无论其数量多么大或多么小。

当人们不确定自己的数据是否是有效预测时，请确保在用于开发数据的复杂分析之前投入更多精力，其评估可能是可行的。在某些情况下，人们可能需要解决基本分析问题。然而，重要的是要记住，这种情况应该比没有任何数据来分析更好。

CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>> “CDA报名”