随着技术的发展和进步,数据量呈指数级增长,这并不令人意外。如果说人们在2005年还可以勉强处理0.1ZB的数据的话,那么如今这个数字已超过了20ZB,甚至到2020年的数据量将达到47ZB。除了数量庞大之外,数据面临的问题还在于其大部分是非结构化的数据,而这些不完整或不准确的数据对于蓬勃发展的人工智能和人类来说没有任何好处。

人们如今只能处理10%的结构化数据,而剩下的都是大量未被标记的信息,机器不能以建设性的方式使用。例如,电子邮件就是非结构化的数据,而电子表格等内容被认为是被标记的结构化数据,并且可以被机器成功扫描。

这看起来似乎并不成问题,但如果人们期望人工智能可以更好地应用在医疗保健,无人驾驶汽车,家庭生活等行业领域,这就需要拥有整洁有序的数据。具有讽刺意味的是,人们已经非常擅长创建内容和数据,但还没有找到一种方法来准确地利用数据来满足人们的需求。

数据科学家也在不断努力

数据科学是过去几年积累了大量数据的领域之一,越来越多的数据科学家致力于解决这一混乱问题,这是很自然的。然而,最近的一项调查显示,与人们的观点相反,数据科学家花费在构建算法和挖掘数据模式上的时间少了很多,而是在开展所谓的数字清理工作,也就是清理和组织数据。正如人们所看到的,这些数据肯定不利于有着光明未来的人工智能发展和应用。

人们在预测人工智能的发展时显然没有考虑到这样一个事实,即虽然机器可以成功替代为模式挖掘数据的少数一些数据科学家,但他们可能无法取代绝大多数致力于研究数据的科学家,而他们大部分时间都在收集、清理和组织这些数据。当然,最好从一开始就以更加整体的方式收集数据,而不是分配太多时间和资源来追溯和修复这些数据。幸运的是,人工智能领域的领导者已慢慢地达成了这种共识,利用他们的技能和影响力,改变了数据科学的走向,并将其与人工智能联系起来。

人工智能目前还不能赶超人类

人们都听说过人工智在某些方面超越人类的报道,例如世界水平最高的围棋大师被谷歌的AlphaGo人工智能击败。然而,这只能说明人工智能可以在小众的任务中取得惊人的成果,但其总体能力仍然与人类的能力无法匹敌。人工智能根本无法处理很多微妙的、具有逻辑的步骤和措施。

在处理财务申报和法律法规方面,人工智能的局限性更加明显。其遇到的问题与其他地方一样。只要人工智能机器没有提供结构化数据,如标准化合同,人工智能就会感到非常困惑。这意味着目前还需要数据科学家来解决这个问题。

团队工作让人工智能更为有效

高素质的数据分析师的聘用成本很高,这使得这一领域的进步更加困难。关键是要通过采用可简化流程的技术进行收集和建模。

另一个关键方面是多个部门需要共同努力解决大数据所带来的问题。财务和技术专家需要携手合作,从一开始就正确识别他们收集的数据的潜在缺陷。这些专家解决问题的方式也应该进行注册,以便通过机器成功复制。其目标是创建质量保证算法,以确定过去与错误相关的模拟结果。人们能够创建的模型越多,数据错误和违规的空间就越小。

没有大数据,人工智能无法生存

无论人工智能的发展方向是什么,也许为人类带来更多的好处或坏处,但有一点是肯定的:人工智能如果没有大数据,终将一事无成。人们已经从日常生活中得到了很多例子,这些例子很可能认为是理所当然的,这证明了人工智能存在的必要性。以Cortana或Siri为例,他们能够理解人们提出的问题和疑问,只是因为他们获得了无穷无尽的信息,帮助它们理解人们的自然语言。谷歌搜索引擎似乎已经成为无所不知的力量,对每个人都非常了解,这是因为人们在其搜索引擎上每天都有大量的日志。为此,企业也能够做出准确的报告,例如那些可以使用相关工具识别网站的报告,这归功于数据最初收集的整洁性。

由于人工智能与大数据密切相关,因此只有通过清晰的结构化数据才能更好地处理这些,从而改善人们的生活。幸运的是,人们正在逐渐了解人工智能发展背后的需求。这就是为什么人们看到数据科学家的工作方式在资金、工资、工具和设备方面有所改进的原因。

这种意识正在全球范围内逐渐普及,使企业和专家能够相互合作,以便更有效地收集数据,建立可进一步帮助机器清洁和构造数据的模型,并为未来的发展奠定基础。了解人工智能和大数据的问题出在哪里,意味着其问题已经解决了一半。