揭开 Facebook 和 Google 的海量数据之谜

它是现代商业的燃料，每家公司都需要大量燃料，但很少有公司能够负担得起足够的燃料。

只有极少数公司既拥有获取大数据的权限，又具备将其转化为产品的AI和ML能力。这造成了数据拥有者和数据匮乏者之间的巨大鸿沟，并形成了大数据领域的寡头垄断（其中包括FANG公司），扎克伯格、盖茨、贝佐斯等人已成为数据巨头，其地位与洛克菲勒家族乃至现代科赫家族的石油大亨并无二致。

两个富人的故事

虽然人工智能是数据贪婪的消费者，并且依靠大量数据才能蓬勃发展，但大多数公司要么拥有大量潜在数据却没有人工智能来使用，要么拥有人工智能算法却没有足够的数据。

为什么会这样？主要原因是，找到具备人工智能资质，更不用说拥有专业知识的人才，竞争极其激烈，成本也极高。大型科技公司正以高额的起薪，争相招揽刚毕业的人工智能专业学生。而且，他们的收入潜力无限——例如​​，曾任谷歌自动驾驶人工智能主管的安东尼·莱德万多夫斯基，在离开公司前一年就获得了120亿美元的薪酬和奖金。

另一方面，很多懂得编写算法的人工智能毕业生正在创办自己的科技公司，但却无法获得发展产品所需的海量数据。

FANG 是否已成为数据界的欧佩克？ 

在互联网早期，网络图（一种描述网页间相互链接关系的地图）对像拉里·佩奇和谢尔盖·布林这样充满好奇心的开发者开放，供他们研究、创新，并以此创建了像谷歌这样的公司。但此后网络图的重要性逐渐降低，并被社交图谱所取代。

社交图谱自 20 世纪 60 年代出现以来，最初只是简单地描绘一个人的人际关系网络以及这些关系产生的网络效应。

然而，凭借超过2亿的用户群体，Facebook重新定义了社交图谱，成为覆盖面最广的社交平台，并构建了一个指数级增长的网络，将个人与企业、服务、社交活动、个人喜好以及所有好友的喜好紧密联系起来。而在数据经济时代，这正是企业所追求的。

虽然网络图仍然很重要，但其主要价值来源是计算网站的 PageRank；然而，拥有人们在线偏好和倾向的细粒度数据才是数字广告商梦寐以求的圣杯。

Facebook的社交图谱可以说是网络上最赚钱的生态系统，它与其他数据巨头（谷歌、亚马逊、Netflix、微软）共同构建了一种数据网络效应：由机器学习驱动的产品会因为获取的用户数据越多而变得更加智能。这造就了一个赢家通吃的商业环境，竞争日趋激烈，尤其是在数字广告领域。

2015年，谷歌和Facebook占据了全球数字广告支出的40%。2016年第三季度，谷歌和Facebook贡献了美国数字广告收入同比增长的99%，创历史新高；2017年，它们又占据了美国数字广告总支出的63%以上。尽管亚马逊和Snapchat的增长速度有所放缓，但打破这种数字广告双寡头垄断格局仍然十分困难。

石油输出国组织（欧佩克）是由 14 个产油国组成的类似卡特尔的组织，它们共同控制着全球 44% 的石油产量，并拥有世界 73% 的“已探明”石油储量，可以通过向市场倾销或减产来影响石油价格。

虽然没有证据表明数据寡头之间存在卡特尔行为，但凭借如此不成比例的市场份额和无限的数据供应，他们是如何影响全球数字广告价格的呢？

数据护城河、湖泊和海洋

“护城河”一词源于沃伦·巴菲特的投资术语，指的是围绕一家公司的经济防御层——无论是知识产权、品牌还是人才——它赋予公司相对于同行业竞争对手的竞争优势。如今，​​囤积“数据护城河”已成为科技公司之间对抗知识产权的一种形式。

数据湖是组织内所有部门共享的原始数据池。这与组织内各部门各自独立的数据孤岛截然不同，后者的数据彼此孤立，互不共享。因此，一个组织可能拥有大量关于单个客户的宝贵数据（例如他们的社交习惯、购买习惯、沟通习惯等），但这些数据分散，难以构建完整的客户画像。

数据湖（数据术语）以原始格式存储大量原始数据，直到需要时才进行处理。与将数据存储在文件或文件夹中的层级式数据仓库不同，数据湖使用…… 扁平化架构用于存储数据所以它仍然很大程度上是无结构的。 非关系型（NoSQL） 数据会一直保留到出现具体问题为止，企业可以使用这些数据进行查询，然后数据会被提炼成相关的模式。

数据是一门大生意；大数据是一门价值连城的生意，但一个行星级规模的数据库呢？那会不会成为广告商和人工智能开发者的终极目标？

迈向数据海洋

Ocean Protocol旨在创建一个去中心化的全球数据交易平台，企业和个人可以通过其原生代币 Ocean买卖数据，从而释放大数据潜力，让更多人参与人工智能开发。该项目的核心理念是，对中心化数据库缺乏信任阻碍了竞争对手之间的数据共享。

Ocean 由BigchainDB的 Trent McConaghy 联合创立，是区块链项目生态系统的一部分（见下图），旨在实现数据、计算能力和存储的去中心化和民主化，以缩小与大型科技公司的差距。

2016 年，全球产生了 16ZB（泽字节，即 16,000,000,000,000,000,000,000 字节）的数据，但只有 1% 的数据得到了实际分析，而在这 1% 的数据中，只有少数几家公司有能力优化数据。

这些项目的最终目标之一是让人们重新掌控自己的数据，而不是试图让数据巨头放弃数据。

让未来数据经济民主化

去中心化数据交换在哪些方面能发挥作用？

医疗保健领域是获取外部数据集将产生深远影响的领域之一。例如，如果药物试验使用比单个医院或实验室所能获取的更大的数据集进行测试，那么其疗效对特定人群或性别的偏差就会大大减少。

一项利用人工智能来深入了解疾病或研发有效产品的医疗项目，需要收集10,000万名患者的数据才能达到较低的错误率，这对单个医院来说几乎是不可能完成的任务。而这正是去中心化数据市场发挥作用的地方。

在测试任何软件或算法时，目标是保持较低的错误率，而最简单、最便宜的方法不是改进或编写更复杂的算法，而是用大量数据来测试旧算法，或者正如 Trent McConaghy 所描述的那样：“用 CSV 文件代替博士论文——这大大降低了错误率，并在 2000 年代推动了人工智能的更多部署。”

自动驾驶汽车是另一个需要将错误率控制在接近于零的领域，这样我们才能有足够的信心将生命安全完全交到电脑手中。据估计，需要行驶5000亿至1万亿英里才能使人工智能模型足够精确，从而实现自动驾驶汽车的量产部署，即使对于与Ocean合作的丰田来说，这也是一个难以承受的挑战。另外，Avdex是一个去中心化的航空数据交易平台。

麦康纳吉表示： “像谷歌和脸书这样的公司意识到，如果将数据囤积起来，就能产生数据网络效应。他们拥有更多数据，这意味着更好的模型，也就意味着更高的点击率，从而带来更多收益。他们自称人工智能公司，但实际上他们是数据公司——他们是数据孤岛。一旦形成了数据孤岛，公司就可以将用户与自己的数据隔离开来，把他们拒之门外，让他们无法参与自己的数字生活。人工智能加速了这些数据孤岛的形成。”

历史书会如何记载？ 

如今，大型科技公司权力的集中程度在互联网时代是前所未有的；与上世纪90年代微软凭借Internet Explorer网络浏览器占据主导地位所引发的反垄断担忧相比，简直不值一提。

微软首席执行官萨蒂亚·纳德拉表示：“我相信，与Facebook或谷歌等广告驱动型模式相比，微软现在可能站在了历史正确的一边。我一直强调，如果没有微软的开放性，互联网就不会出现……想想现在的生态系统，多么封闭，多么封闭，充满了各种各样的操纵手段，[和我们以前的情况相比]。”

虽然我们并未处于约翰·D·洛克菲勒式的垄断时代，但数据市场的集中度介于洛克菲勒和欧佩克模式之间。正如麦康纳吉所说，打破寡头垄断的最佳途径是“用浩瀚的开放数据淹没数据孤岛”。

关注 @AndrewBNC

数据被誉为“新石油”，如果真是如此，那么数据市场处于什么状态？我们身处19世纪80年代约翰·D·洛克菲勒的标准石油公司垄断时代，还是处于类似于当今欧佩克的现代卡特尔体系？数据市场是否会因去中心化而发生颠覆性变化？