美国情报机构与科技企业联手挖掘数据_数据分析师

北京时间6月21日，《纽约时报》网络版周四发表文章称，网络的发展促成了美国情报机构与硅谷高科技企业在数据挖掘层面的深度合作。随着互联网数据的爆炸式增长，情报机构自身已经很难完成海量数据的存储和分析工作，硅谷的软件企业自然就成为了它们的“代理人”。同时，它们的合作已形成一个互惠互利的产业，双方在技术、资本甚至人才方面都有交集。

　　以下是文章全文：

　　Facebook前首席安全官马克斯·凯利(Max Kelly)2010年从公司离职时，他并没有选择加入谷歌、Twitter及其它硅谷热门公司。相反，这个在Facebook负责10多亿用户个人信息、确保它们免受黑客攻击的家伙加入了美国国家安全局(NSA)。如你所知，NSA是一个管理和分析更多数据的巨大机构。

　　凯利加入美国情报机构NAS的消息此前并未见诸报道。他的跳巢，突显了美国情报机构与硅谷企业在工作性质上的相似程度：它们都猎取、分析和利用成百上千万美国用户的信息数据。唯一的差别在于，NSA这样做是为了获取情报，而硅谷企业则靠它赚钱牟利。

　　互惠互利的产业合作

　　NSA被泄露的间谍项目代号为“棱镜”(Prism)，主要内容是NSA与谷歌、雅虎和Facebook等美国主要互联网企业合作，专门收集外国用户电子邮件以及其它网路活动信息。“棱镜”项目被曝光后，硅谷的企业都极力撇清与NSA的这层关系，否认后者可以直接访问它们的数据。但是，它们同时也承认，会遵从NSA法院命令为后者提供特定的数据。

　　但是，科技专家以及美国情报机构前工作人员均认为，NSA与硅谷企业之间的交集越来越深，数据挖掘越演越烈。情报机构与科技企业之间的这种合作，对美国当局来说是一种关键的情报收集方式，对硅谷企业来说是一种靠数据牟利的产业。它们认为，正是这种互惠互利的合作关系造就了今天非常复杂的现实。

　　硅谷企业拥有情报机构需要的东西，主要包括“海量的私人数据信息”和用来分析这些数据的“最复杂的软件分析工具”。反过来，情报机构就成为了这些硅谷企业在数据分析服务方面的大客户。数据分析现已被认为是硅谷地区增长最快的业务之一。为了在新兴的软件企业中“插一手”以便能够更好地操纵和利用大量数据，美国情报机构采取的手段包括投资创业企业、授予机密合约以及直接雇佣技术专家等。

　　位于旧金山的市场分析公司Constellation Research科技分析师王磊(Ray Wang)认为：“我们全都被卷入了大数据商业模式，处在一个相互联系的世界，因为现在的数据科学家和构建这些系统的家伙们有很多共同的利益。”

　　NSA每年预算高达100亿美元

　　此前，美国情报机构与硅谷企业之间的合作只限于设备买卖，但近年来，随着计算机存储技术的发展，廉价地保存海量数据得以实现，双方的合作方式出现了新形式，利益开始出现交集。同时，大量数据在消费者市场营销方面的价值也开始凸现。这些都促成了双方合作关系的升级。

　　NSA每年在硅谷企业身上投入的总金额属于高度机密，外界不得而知。但据独立分析师估计，NSA每年的花销预算高达80-100亿美元。

　　尽管硅谷的企业们宣称，与情报机构间的合作只限于法律强制的部分，但熟悉流程的业内人士则表示，部分企业会想方设法拓展与NSA的合作广度和深度，以获取更多利益。据熟悉内幕的情报机构前工作官员称，企业这么做是因为它们想掌握主动权。当让，它们也时刻面临着来自NSA的巨大压力，譬如被要求使自己的数据更容易访问等。

　　Skype的“象棋项目”

　　据熟悉内幕的消息人士称，网络电话服务商Skype设立了一个的名为“象棋项目”(Project Chess)的秘密项目，旨在探究如何从法律和技术层面使得Skype通话可随时被美国情报机构和执法官员调用。

　　上述人士称，Skype的“象棋项目”此前从未被披露，据说Skype内部知道此项目的人不超过12个。据悉，该项目发起于大约5年前，当时Skype还没有被母公司eBay将大部分股份卖给外部投资者。2011年10月，微软斥资85亿美元将Skype纳入麾下。

　　去年，Skype一位高管在博客文章中否认了Skype在微软授意下向执法部门大开“绿色通道”的说法，他指出Skype并未向当局提供更简易的窥探通话的方式。根据爱德华·斯诺登(Edward J. Snowden)披露的信息，Skype看起来在被微软收购之前就已与情报机构达成了合作关系。他在一份披露的文件中指出，Skype在2011年2月6日加入了”棱镜“项目。

　　Skype在几年前的声明中指出其通话不会被窃听，如今面临指责的微软也懒得出来重申这一观点了。微软一位发言人弗兰克·肖(Frank X. Shaw)拒绝就此置评。

　　NSA高官到黑客大会招募人才

　　NSA在招聘硅谷人才时，通常会派一些高级官员前去，以吸引最好的人才。去年夏天，NSA总监兼五角大楼的网络司令部行政长官基思·亚历山大(Keith B. Alexander)就出席了在拉斯维加斯举行的全球最大的Defcon黑客大会，当时身着T恤和牛仔裤的他还做了一个主旨演讲。亚历山大参加Defcon黑客大会的主要目的就是为NSA招募间谍人员。

　　在其它的科技和信息安全类大会上，也经常有NSA官员的身影。斯坦福大学法学院互联网与社会中心(Stanford Law School’s Center for Internet and Society)民权自由部主任珍妮弗·格兰尼克(Jennifer Granick)认为：”NSA非常乐于从黑客社区挑选员工。“

　　情报机构直接投资科技创业企业

　　在NSA与硅谷企业的合作中，恐怕没有人能比肯尼斯A。米尼汉(Kenneth A. Minihan)更能体会双方之间的深层关系了。

　　米尼汉从空军情报员做起，在克里顿执政时期负责NSA的工作，直到上世纪90年代末退休。之后，他又执掌NSA的一个外部专业网络机构。现在，米尼汉是圣骑士资本集团(Paladin Capital Group)的常务董事，这家位于华盛顿的风险投资公司部分业务就是投资那些为NSA及美国其它情报机构提供高科技解决方案的创业企业。

　　实际上，米尼汉就相当于是NSA的一个高级侦察兵，专门为NSA提供最新的技术，来满足它们对海量数据分析和利用的需求。

　　圣骑士资本的战略顾问委员会成员还包括NSA前高管理查德·谢弗(Richard C. Schaeffer)。如果说圣骑士还仅仅是一家外部的私有企业的话，那么In-Q-Tel就是美国情报机构自家的风险投资公司了。In-Q-Tel由美国CIA(中央情报局)提供资金支持，投资对象也是高科技创业公司。

　　很多参与合作的软件公司都向情报机构毫无保留地开放它们的数据。波斯顿创业公司Crimson Hexagon联合创始人兼首席科学家加里·金(Gary King)一次在接受采访透露，他在总部位于弗吉尼亚州兰利的CIA与其工作人员谈论过自家公司社交媒体分析工具的事宜。

　　未来双方合作会更加紧密

　　未来，人们相信美情报机构与硅谷企业之间的合作将越来越紧密，主要促成因素是数据的爆炸式增长。市场研究机构IDC的数据显示，从今年到2016年，全球数据存储容量的年复合增长率高达53%。

　　旧金山电子隐私集团电子前沿基金会(Electronic Frontier Foundation)科技分析师丹·奥尔巴赫(Dan Auerbach)认为：”我们迎来了一个临界点，自此公司从所存储数据获取的利益要高于存储数据所支出的费用。现在企业有了永远保留这些数据的动力。“

　　另外，随着社交媒体的大量兴起，用户自愿提供的可被挖掘数据的增长超过了以往任何时候，也超过了政府当局通过自身手段能够获取的能力上限。因此情报结构乐于借助互联网软件企业来帮助其存储与分析这些数据。科技作者布鲁斯·施奈尔(Bruce Schneier)一针见血地指出企业比政府更适合做数据收集的理由：”用户很可能将绝不愿意向政府透露的信息欣然地提供给Facebook。“

CDA学员免费下载查看报告全文：2026全球数智化人才指数报告【CDA数据科学研究院】.pdf