首页 > 技术 > 云计算 > 正文

2016 Sort Benchmark腾讯98.8秒刷新阿里云记录

2016-11-14 14:36:17来源:智能电子集成

[摘要] 2016 Sort Benchmark全球排序竞赛中,腾讯云大数据联合团队宣布仅用不到99秒(98.8秒)完成100TB的数据排序

  2016计算奥运会Sort Benchmark全球排序竞赛中,腾讯云大数据联合团队宣布仅用不到99秒(98.8秒)完成100TB的数据排序,打破阿里云去年创造的329秒的纪录。在更早前,百度创造的纪录是716秒,Hadoop的纪录是4222秒。
 
  在这次竞赛中,腾讯云数智分布式计算平台,夺得Sort Benchmark大赛GraySort和MinuteSort的冠军,总共创造四项世界纪录,将去年阿里云的纪录整体提高2倍到5倍。腾讯名列全球大数据第一梯队领军企业,这也是全球大数据性能进化史的重要里程碑。
 
 
\
全球大数据性能进化史
 

 
  每年全球顶尖公司和学术机构都会来参加该赛事,以评估软硬件系统架构能力及最新研究成果。这项赛事包括四项比赛,腾讯云大数据联合团队参加的是含金量最高的GraySort和MinuteSort两项排序竞赛,重点评测大规模分布式系统的软硬件架构能力及平台的计算效率,以上两项比赛均包括Indy(专用目的排序)和Daytona(通用目的排序)两个子项。数智一举夺得上述四个子项的冠军,总体将去年的纪录提高2倍到5倍。
 
  GraySort竞赛比拚的是如何在最短的时间内,将总共100TB,一共1万亿条无序的100字节纪录,按照从小到大的顺序进行排序。数智用时98.8秒完成100TB的数据排序,即每分钟完成60.7TB的数据排序,去年冠军的纪录为18.2TB/分钟。MinuteSort竞赛,比拚的是在1分钟之内能够完成多少数据量的排序。数智的成绩为1分钟完成55TB的排序,去年冠军的纪录是11TB,数智将这一数据量提升5倍。
 
 
\
 
Sort Benchmark四项世界纪录对比
 
  Sort Benchmark通过排序竞赛考量一家公司或机构大规模计算能力的综合实力,通过排序这个最基本的计算问题,不仅全面评测分布式系统软件架构能力(如海量数据分布式存储、计算任务切片调度、节点通信协调同步、数据计算监控容灾等性能),也评测了硬件架构能力(如服务器硬件选配、网络架构调优、IDC规划建设能力等)。在这次排序竞赛中,腾讯云大数据联合团队在基础架构上采用了512台IBM的OpenPOWER服务器和迈络思公司的100Gb互联技术,这也让腾讯云大数据产品的性能取得进一步提升。
 
  此次参赛的腾讯云大数据联合团队由腾讯云存储产品中心、腾讯数据平台部组成。在对微信每天160亿级别的多维分析场景中,数智能够做到6秒返回结果;数智是腾讯云在互联网海量数据处理经验之上,结合开源Hadoop生态和自研组件服务,对外提供的一站式数据分析与挖掘平台,已在政府、传统企业和互联网企业中被深度应用。
 
 
 
0
[责任编辑:Joy Teng]

《安防知识网》一个服务号 二个订阅号 微信服务全面升级

不得转载声明: 凡文章来源标明“安防知识网”的文章著作权均为本站所有,禁止转载,除非取得了著作权人的书面同意且注明出处。违者本网保留追究相关法律责任的权利。

腾讯云将首获国内云计算领域ISO 27001:2013认证

腾讯云将首获国内云计算领域ISO 27001:2013认证

日前,2014年腾讯全球合作伙伴大会腾讯云专场主要议程及重磅嘉宾名单公布,其中英国标准协会(BritishStandards Institution,以下简称BSI)亚太区董事总经理David Horlock先生赫然在列,他将出席“BSI国际信息安全管理体系权威颁证仪式”环节。一个是国内云计算的巨头,一个是国际标准认证领域的权威,二者的碰撞,会擦出什么样的火花?
方案案例调研报告

注册会员免费申请杂志
及下载本站所有案例调研报告

立即免费注册