网络业中一个公司是否称得起拥有大数据到少要从三个维度考量:
1数据规模。所谓大数据最基本的要求当然是数据规模大,但很难给出一个绝对的数字标准来确定大小,而只能用一些模糊的感觉来相对比较。例如,一个公司在年度预算中有了专门的、显著的数据存储和分析预算(例如,总预算的3%~5%),有了独立的数据处理和分析部门,有了比较完整的数据存储、安全和保密政策与管理流程,有了高度依赖数据分析结果的商业模式,那么,可以说这个公司面临着利用大数据的机会或挑战了。
2数据结构。数据量只是反映数据性质的一个指标,也许还不是最重要的指标。一天产生一百万个T数据的公司也许算不上大数据公司,而另一个一天只产生一万个T数据的公司也许反而是个大数据公司,其奥妙在于数据结构的复杂性。例如,A公司拥有一亿用户,但用户在A公司网站上只干一件事或一类事,比如获取新闻资讯、买买东西,或者玩玩游戏。那么由此产生的数据量虽然不小,但结构简单、重复性高,分析起来很容易,无非就是根据用户背景和使用习惯分分组、归归类,简单数据挖掘基本功足够,扯什么大数据就有点故弄玄虚了。B公司只有一千万用户,却是个开放平台,用户在此可以做互联网能够支持的所有事情。网络行为又可分为个人、群体、组织等层次,那么这个数据的结构就够复杂,能够支持深度挖掘和复杂建模,因而就可以算作大数据。
3数据关联度。网络业一个常见现象就是随着数据量的增加,用户行为所产生的数据间的关系越来越不清晰,越来越难以捉摸,越来越相互孤立,也就是所谓的数据碎片化。这种碎片化主要来自两个方面:一是网站结构碎片化、逻辑混乱化,各种产品与服务之间相互孤立化,因而导致数据之间关系断裂,关联度很低。例如,明明是同一个用户在一个网站上使用了十种不同的产品和服务,但由于其中五种无须注册使用,其他五种又需要分别注册使用,结果这十种网络行为的数据无法整合在一起,或者需要通过种种技术手段和工具进行高成本的数据整合,以至于入不敷出。这也就减少了数据的含金量,降低了数据的可挖掘度,使得无论数据量如何大、结构如何复杂,也形成不了大数据。反之,如果一个WEB 2.0时代的开放平台,架构清晰,逻辑分明,用户与用户、用户与用户行为、行为与行为之间都具有确定的关联性,那么这样的数据就具有极高的含金量、极高的分析挖掘价值,也就可以形成大数据。
所以,简而言之,大数据与否取决于数据规模、结构复杂性和关联性,简单地说某个公司的数据量大并不等于说这个公司具备拥有和利用大数据的前景。例如,直到Google+诞生前,谷歌仍不能声称自己是个大数据公司,因为它的海量搜索数据虽然规模庞大,但结构简单。尽管听说它的搜索算法已经囊括了六万多个变量,成千上万的数学和统计学模型、上千的博士和工程师参与分析,但在数据挖掘深度、搜索结果个人化、搜索结果与广告之间的相关度上进展有限,只有改良,没有突破。更严重的是,谷歌数百个产品和服务之间相互关联度极低,各干各的,无数数据库互不相干。各个部门之间以邻为壑,互不配合,更不整合。所以,面对以Facebook和苹果为代表的WEB 2.0时代以及由此产生的大数据战略机会,谷歌若干年来束手无策,只能靠不断扩展产品线对付。如果直到2013年谷歌还算不上大数据公司,那些自认为自己有点数据,或者会点加减乘除,或者以为掌握一些基本的数据库技术和Know-How(技术诀窍)就可以招摇过市,到网络业和资本界呼风唤雨,是不是有点不知深浅,过于幼稚了呢?