侯圣涛的空间

我们一直在努力....

全球10大终极数据库

标签: 终极数据库
10. 美国国会图书馆
不管是不是在数字时代,全球最大的图书馆——美国国会图书馆都可以荣登这一列表。国会图书馆的藏书数量之高——1.4亿多册,范围之广——从烹饪书籍到殖民地时期的报纸到美国政府刊物。据估计,如果把国会图书馆的文字以数字形式存储,其总量将达20TB。

 


 
如果你(特指老美)在互联网上找东西又找不到时,那么国会图书馆应是你要去的地方。对于研究美国历史的用户来说,国会图书馆是个必去之处,用户访问国会图书馆网站的“美国记忆”目录,该目录下大约有5百万册相关资料。

但不幸的是,国会图书馆并无计划把所有的馆藏内容都数字化,并且有些馆藏是限制查阅人群,只对最高法院法官、国会议员、馆内工作人员和其他政府官员。 但是,只要你有国会图书馆的借阅卡,就可以借阅(大部分)资料。(编者注:该图书馆的资料不能外借,读者只能在馆内查阅。)

国会图书馆数据库概括:
  • 1. 馆藏资料总量1.3亿份; (包括书籍、照片和地图等)
  • 2. 2900万册书;
  • 3. 每天新增1万馆藏;
  • 4. 书架长度共有530英里;
  • 5. 5百万份数字文档;
  • 6. 文字数据总量20TB。

9. 美国中央情报局(CIA)

CIA的任务(之一)就是收集和散发各种信息和资料,所以CIA能上榜就不足为奇了。虽然CIA数据库的总量外界不得而知,但下面这个说法是十分肯定的。这个机构一定收集了大量的公共信息和私人信息。(编者注:其收集信息的手段十分多样化。)


 
CIA数据库对公众开放的部分有:“信息自由法”电子阅览室、“世界概况”和其他情报相关出版物。在“信息自由法”电子阅览室中,公众可以看到成千上 万的美国政府官方文档(也有已解密的文档)。电子阅览室每月新增100份文档,文档主题内容范围很广,从巴基斯坦核发展到“韩战”(西方皆称“韩战”,大 陆称“抗美援朝”)中的啤酒种类。“世界概况”收藏了各个国家和地区的信息,包括地图、人口数量和军事能力等。

编者注:美国中央情报局图书馆电子阅览室网站  根据《美国信息自由法》,美国政府公布了大批中央情报局国家情报评估等情报档案。在该网站“文件搜索”框中输入关键词便可搜寻所需档案,也可按地理、功能和形式分类查询。

CIA数据库概括:
  • 1. 电子阅览室每个月新增100份文档;
  • 2. 覆盖全球250多个国家和地区的统计数据;
  • 3. 数目不详的机密资料

8. Amazon 亚马逊

Amazon,全球最大的零售网站,“收藏”了5900万活跃用户的信息,包括个人信息(电话号码等)、收据/发票、清单和还有其他能从用户那提取的 数据。Amazon也有25万多的在线书籍(可以全文阅读的),并允许用户在其各个页面进行评论和交互。因此,Amazon跻身为全球最大的在线社区之 一。


(不知你有注意Amazon的Logo上的箭头么?
有2层意思:1. 从A到Z是指其物品繁多;2. 笑脸。)
上述这些数据和Amazon每年的数百万巨额销售量,再加上Amazon合伙人的巨额销售量,造就了一个超大数据库。Amazon最大的2个数据库的 数据量加起来有42TB,这还只是开始。如果Amazon公开其所有的数据库数量和每个数据库的数据量,这就不仅是42TB了。

尽管如此,我们暂且就算它42TB吧。42TB数据,如果换算成论坛帖子的话,应该是37万亿个帖子。

编者注:我猜想,这里所说的帖子,应该是主题帖和回帖的统称,不是特指主题帖。另外,Amazon卖出的第一本书是道格拉斯·霍夫斯塔特的《Fluid Concepts and Creative Analogies: Computer Models of the Fundamental Mechanisms of Thought》。

Amazon数据库概括:
  • 1. 5900万活跃用户;
  • 2. 数据量超过42TB。
7. YouTube

在经过这些年的积累发展,YouTube已经成为全球最大的视频库(视频网站)。如今,YouTube上每日视频播放次数高达1亿次,60%的视频是在线观看的。


2006年8月,《华尔街日报》称YouTube的视频总量已有45TB。相对互联网上数据量来说,这个数字听起来不是很高,但自从这个数字公布以 来,YouTube正经历了一段大幅增长时期,(每天有65000段视频上传至YouTube,)所以在过去五个月中,YouTube的数据库大小很可能 已经翻倍了。

因为YouTube上的每段视频的大小不一,所以要估计YouTube的数据库大小并非易事。不过,也可以大胆来预测一下:
  • 每天上传6500段视频,故每个月共有 65000 * 30 = 1,950,000段视频;
  • 假设每段视频大小为1MB,每月将有 1.95TB;
  • 假设每段视频大小为10MB,每月将有19.5TB。
所以,YouTube下个月将增加近20TB数据。
YouTube数据库概括:
  • 1. 每日的视频播放量为1亿次;
  • 2. 每日新增65000段视频;
  • 3. 60%的视频是在线观看的;
  • 4. 视频总量大小至少是45TB。
6. ChoicePoint

设想一下:在一本10亿页的电话本上找一个电话号码。这是一项什么的工作。当你有求于ChoicePoint的时候,ChoicePoint的员工就 得干这活。如果把ChoicePoint的数据库资料全部打印出来,在不这些纸张连起来,其长度足以在地月之间往返77回。


ChoicePoint是一家信息服务机构,你可以通过它查询美国的人口数量、地址和电话号码、驾驶记录和犯罪记录等。在大多数情况下,Choicepoint数据库中的数据是只卖给出价最高的买主,包括美国政府。

ChoicePoint到底知道多少呢?2002年,借助ChoicePoint数据中的DNA和个人记录数量,政府成功破获了费城和柯林斯堡的一起 系列强/奸案。2001年,世贸中心有很多遇难者已无法辨别身份,在提取遇难者的DNA后,通过比对ChoicePoint数据库中的遇难者家属的数据, 才得以确认遇难者身份。

ChoicePoint数据库概括:
  • 1. 个人数据总量为250TB;
  • 2. 信息覆盖2.5亿人。
5. Sprint 斯普林特

       导读:有朋友说自家电脑上的影片都是TB级的。一般来说,明智的管理员是不大可能把视频和图片之类的文件保存在数据库中的。

 

Sprint是全球最大的通信公司之一,向5300万客户提供服务。在和Nextel合并之前,提供本地和长途通信服务。(Sprint Nextel公司现已是全美第3大通信公司,仅次于Verizon和AT&T。)

像Sprint这样的大型通信公司,均有庞大的数据库,以追踪客户呼叫请求。Sprint的数据库每天要处理多达3.65亿次呼叫记录。其数据库已扩展到2.85万亿行。在顶峰期间,每秒有7万次呼叫详细记录新增到数据库中。

Sprint数据库概括:
  • 1. 数据库有2.85万亿行;
  • 2. 每日平均处理3.65亿个呼叫详细记录;
  • 3. 顶峰期间,每秒插入7万次呼叫详细记录。

4. Google

尽管目前外界没有太多关于Google的数据库真实大小的信息(Google一直能严守信息,这让诺克斯堡军事基地情何以堪。),但我们已知道Google所收集信息的数量和种类。


 
编者注:文中提到的诺克斯堡军事基地,是美国国库黄金储备地之一(还有一个是西点,至于纽约联邦储备银行的地下金库,主要是存放外国的黄金。 )。该基地许多地方可以随便开车进入,惟独金库用铁丝网拦住,外人不得入内。故原文作者这样说。

Google平均每天处理9100万次查询Google的处理海量请求的能力是基于其庞大且强大的数据中心,这将近占整个互联网每日查询总量的50%。Google把用户的每一次搜索保存在数据库中。所以,Google平均一年要保存33万亿条查询记录。根据Google数据的结构类型,一年的查询总量将折合成数百TB。

除了查询记录,Google还收集用户的个人信息。(怎么收集?)Google把用户的查询请求和用户电脑上Cookie保留的信息整合到一起,创建虚拟的个人信息。

尤为重要的是,除了搜索,Google帝国的疆土还在不断扩大,现有疆土已有数字媒体(Google视频和YouTube)、广告(Google Ads)和邮箱等。归根结底,Google的疆土越大,其数据库处理的信息量就越大。就互联网范围内的数据库而言,Google是No 1。

Google数据库概括:
  • 1. 平均每天9100万查询请求;
  • 2. 查询数量占所有互联网查询量的50%;
  • 3. 不计其数的用户虚拟资料。

3. AT&T 美国电话电报公司

和Sprint一样,美国的老牌通信公司AT&T的数据库也能进入排名。从结构上来说,AT&T的最大数据库是百里挑一的,因为它有2个 重要“头衔”,总量最大的独立数据库(312TB)和行数第二大的独立数据库(1.9万亿行,这个数据库是处理呼叫记录的)。
1.9万亿条呼叫记录,包括了主叫和被叫号码、呼叫时间和通话时长以及其他各种账单目录信息。AT&T的工作做得非常细致,他们业保存了10年前的呼叫信息。要知道,10年前可没有保存数百TB级数据的技术。(或者说技术还不成熟。)

AT&T数据库概括:
  • 1. 信息量为323TB;
  • 2. 1.9万亿的通话记录。

2. 美国国家能源研究科学计算中心(简称NERSC)

第二大的数据库应属加州奥克兰的NERSC。NERSC由“劳伦斯伯克利能源实验室”和“美国能源部”共同运作。它数据库保存的信息包括了原子能研究、高 能物理实验和早期宇宙模拟等数据。如果想看宇宙过去的模样,启动NERSC的超级计算机就可以观看“大爆炸”时期的宇宙形态。

 
编者注:NERSC有超级计算机群,其中最大的名为“富兰克林”。2009年11月,全球超超级计算机Top500排行榜中,“富兰克林”位列15。

NERSC数据库由2000多名计算机科学家操作和维护,其数据量高达2.8PB。(注:1 PB = 1024 TB;1 TB = 1024 GB;)

NERSC数据库概括:
  • 1. 信息量高达2.8PB;
  • 2. 由2000多名计算机科学家共同运作;

1. 世界气候数据中心(WDCC)

如果你有一台价值3500万欧元的超级计算机,你会把它用来做什么?炒股?搭建自己的“因特网”?WDCC就有一台这样的机器,又逢全球变暖,正好用它来做气候研究。WDCC由马克思·普朗克气象研究院和德国气候计算机中心共同运作,其数据库是全球最大的。

 
WDCC有220TB的网络数据,包括气候研究、预测气候变化和110TB(24500张DVD)的气候模拟数据。尤为重要的是,它还有保存在磁带上的6PB的其他信息。你会问,这6PB的数据有多大呢?这个数据是全美所有学术研究图书馆内容总和的3倍。

WDCC数据库概括:
  • 1. 220TB的网络数据:
  • 2. 6PB的其他数据。

编者后话

对于这份原文作者整理的这份列表,相信有朋友会有疑惑,这能称上是“全球10大终极数据库”么?我也有此疑问,但我对Google、AT&T、 NERSC和WDCC可以进入排名没有疑问。我想,既然美国的第三通信公司Sprint能进入,那国内的同行企业的数据库为什么没能上榜呢?按道理来说, 有着庞大人口/用户基数的,应该能入围的。或许有这种可能:虽然美国通信企业的用户数量没法和国内的同行比,但他们保存的通话记录比国内更长,故数据库更 庞大。

其实本文恰当的标题应该是“全美10大终极数据库”。并且原文作者还把Facebook漏掉了。Facebook这么庞大的活跃用户群(用户总量已超过5亿),看下面3个数据:数据来源参考
  • 1. 每月处理超过250亿条的信息内容(包括用户状态更新,评论等);
  • 2. Facebook图片总量已有200亿张(其实共有800百张,因为每张图片按4种分辨率保存);
  • 3. 每个月有超过30亿的图片上传到Facebook。
主要看第一条数据(图片不会保存在数据库中的),每月有250亿条,Facebook已运作这么多年了,数据库中应该存有5000亿条信息(保守数字),假设平均每条信息10B,则共约为50TB。

总而言之,如果要算数据库总量大小,Facebook能进入这个列表。如果你还有其他观点,不妨在评论中和大家一起分享。


    分享: 收藏到CSDN 收藏到javaeye 收藏到博客园 收藏&分享
  • 浏览 (129)
  • 评论 (0)
  • 发表于 2010-09-30 00:00
    评分: 请先登录再投票,同一篇博客一月只能投票一次!
    无人投票

相关博客:


评论


发表评论

关注此文的人们还关注