通信人家园

标题: 2684亿!阿里CTO张建锋:中国有两朵云,一朵是阿里云,一朵叫其他云。  [查看完整版帖子] [打印本页]

时间:  2019-11-12 08:44
作者: 草木皆美     标题: 2684亿!阿里CTO张建锋:中国有两朵云,一朵是阿里云,一朵叫其他云。


2019天猫双11

成交额2684亿!

在平稳度过 2019 天猫双 11 流量峰值后,阿里巴巴正式宣布,其核心系统已 100% 跑在阿里云公共云上。国内唯一自研的飞天云操作系统,成功扛住全球最大规模的流量洪峰,由此,阿里巴巴成为全球首个将核心交易系统 100% 运行在公共云上的大型互联网公司。

在双十一现场,阿里巴巴集团 CTO 兼阿里云智能总裁张建锋全方位总结并分享了当双十一已经走过 11 年,是如何在用户及商家完全无感知的情况下,将数以十万计的物理服务器从线下数据中心迁移到了云上。

从去年开始,我们决定把整个阿里巴巴核心系统全部上云,上云还要加一个定语,是上“阿里云”,并不是上任何一朵云都能撑得住这个流量。在中国,我们经常说中国有两朵云,一朵叫做“阿里云”,还有一朵叫做“其它云”。

微信图片_20191112083650.jpg

为什么讲阿里云跟其它云不一样?因为在中国只有阿里云是完全从头研发的一朵云,从头是从每一行代码,从十年前开始写,今年是阿里云的第10年,所以我们的云有一个特别的名字,叫做“飞天操作系统”,当初王坚博士创办阿里云的时候,对我们这个云下面的调度系统,整个云的基础平台,取名叫做“飞天操作系统”。

我们的云完全是中国自研的一朵云,其它很多云从开源软件改造过来的,这是非常大的不一样。

第二个,今年双11,阿里仍然是一家在高速飞行中的飞机,我们成功的在这个过程中换上了全新的引擎。以前大家把非核心负载放在云上,现在阿里巴巴最核心的系统放在了云上。现在我们的云把原来专用的技术变成公共云,大家都可以来享受普惠服务。我们有最好的系统,你们也可以在上面跟我们一样使用。

阿里云承载阿里巴巴自己100%的核心系统,这个是我们全球第一个做到的。很多云厂商自己也有业务系统,但是自己的系统不在自己的云上。我们以后所有阿里系统全部都在阿里云的飞天操作系统上面。

大家一定会想,这是一个简单的替换还是技术上非常大的一个进步、非常大的挑战?我简单说一下,我们有几个方面做得非常好,它不是简单的替换,上云之后性能有了一个非常大的提高。

今天大家可能有感觉,我们前十分钟,基本上消费者没有感受到任何抖动,大家购物非常顺畅。

第一、我们在核心虚拟机系统上,自研神龙架构,用自研的服务器来做虚拟化。一般的服务器随着压力增长,最终负载能力会慢慢下降,它不是线性的。我们神龙服务器压力越大,输出也是非常线性的,这是非常难做到的。

第二、我们自研了云原生的数据库。今年有两个数据库,一个是自研的OceanBase,大家知道我们在TPC-C测试里面拿下了全球第一。第二是PolarDB,也广泛用在这次双11上,没有任何问题,我们每秒峰值也是远远超越于原来Oracle这样传统的数据库。

第三、我们的计算与存储做了分离,现在阿里巴巴存储是有一个地方专门存数据。数据都是从远端存取的,所以存储可以很方便的扩容,因为它有一个专门的池。原来做不到。因为原来远端存储,访问网络速度就跟不上。

第四、之所以现在能够做到在远端存储,能够比本地读写磁盘更快,是因为我们做了RDMA网络,这是全球第一个大规模做RDMA网络的公司。

我们这四个方面都做了核心突破。

今天,飞天操作系统能够在10万台级别以上的服务器里面做调度,今天双11有非常多的应用,但是它并不是说每一个时间点,所有应用负载都是一样的。我们在零点把大部分计算机资源分配给交易等应用,过了一点之后,我们把数据分配给数据处理系统。数据处理今年创了一个新高,2017年当天处理了300PB的数据,2018年处理了600PB的数据,今年要处理970P左右的数据。

大家可能没有概念,一个P到底有多少数据,我上次跟央视的人交流,央视拍了这么多年电视新闻节目,几十年下来他存了大概80P的数据。双11一天,我们要处理970P的数据,非常大的量,没有一个先进的系统是撑不住的。

第二个是非常实时,大家看到了,今天在秒杀,在会场全部都是个性化、千人千面的,这里的数据不仅是大,而且是要做到非常实时。到目前为止,我们菜鸟物流系统已经产生了超过10亿笔的物流单,这个数据还在很快的上涨,这些都需要依靠阿里云背后大量的计算能力。

我们今年的数据,除了批处理之外,还有流处理,就是实时处理所有数据,就像你们看到的交易数据,每分钟、每秒钟都在变,它并不是从数据库里面统计出来的,它是每生成一笔订单,系统自动一层层把数据汇集上来。我们这个系统每秒能处理25亿笔记录,这是流式的系统。

我们这么多服务器,要把它全部管理起来,除了飞天系统之外,还要管理所有的消息流转,所以我们自己开发了一个叫做MQ的消息系统,这也是全球目前最大的一个消息系统。

今天,从飞天系统、大数据处理平台到智能化应用,这些技术叠加起来打造了一个新的分布式的基于云的平台,才使得阿里整个经济体所有核心应用都能够跑在上面。

最后,我们今年发布了自研的芯片含光800。明年双11,阿里大量人工智能应用都会跑在自研芯片上面。

今天从飞天云操作系统到神龙服务器、数据库、交换机、交换机操作系统、RDMA网络,全部是阿里自研的。我们今天已经积累了非常丰富、非常强的能力,从硬件、数据库、云计算操作系统,到上面的核心应用平台,四位一体,这是这次双11跟往年最大不一样的地方。

附件: 微信图片_20191112083650.jpg (2019-11-12 08:44, 174.19 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NDE4NTA4fGRiZjljMThhfDE3NTQyNTMxODd8MHww
时间:  2019-11-12 10:03
作者: scnc001

本帖最后由 scnc001 于 2019-11-12 10:05 编辑

点个赞。。。
时间:  2019-11-12 10:41
作者: chenshengqu

不得了不得了。。
时间:  2019-11-12 11:08
作者: xdygzsxg

点赞,核心技术突破~
时间:  2019-11-12 11:11
作者: bbgunner918

这个必须点赞,阿里比TX那个**强多了
时间:  2019-11-12 18:03
作者: yt710

京东用的哪家云?销售额快赶上天猫了

时间:  2019-11-12 19:26
作者: 梦醒时分s

今年是真的不卡,点个赞,剁手更快了。
时间:  2019-11-12 19:59
作者: 客观事实

提示: 作者被禁止或删除 内容自动屏蔽
时间:  2019-11-12 22:19
作者: 聊胜于无

yt710 发表于 2019-11-12 18:03
京东用的哪家云?销售额快赶上天猫了

(1)nslookup 一下,看下cname;
(2)根据后缀查下网站备案
你会发现答案很奇妙:)
时间:  2019-11-13 09:44
作者: qh6678


时间:  2019-11-13 10:36
作者: surchina

必须点赞
时间:  2019-11-13 10:40
作者: chengaoSX

聊胜于无 发表于 2019-11-12 22:19
(1)nslookup 一下,看下cname;
(2)根据后缀查下网站备案
你会发现答案很奇妙:)

是什么?
时间:  2019-11-13 11:02
作者: sam.hong

阿里的研发确实牛,现在的互联网公司已经不能完全称之为互联网公司了。平安旗下的科技部都是这样,以前主要是花钱的部门,现在创收也很厉害。
时间:  2019-11-13 11:22
作者: guanlw1987

chengaoSX 发表于 2019-11-13 10:40
是什么?

刚试了下,结果是
C:\Users\guanlw>nslookup
默认服务器:  public1.114dns.com
Address:  114.114.114.114

> https://www.jd.com
服务器:  public1.114dns.com
Address:  114.114.114.114

非权威应答:
名称:    ym.gslb.qianxun.com
Address:  106.39.164.147
Aliases:  https://www.jd.com
备案信息:北京京东叁佰陆拾度电子商务有限公司
奇妙在哪里?
时间:  2019-11-13 11:46
作者: 颉123

全球第一,全太阳系第一,全宇宙第一
时间:  2019-11-13 11:54
作者: hbhguni

不错,但是没有三家撑着,能行么?
时间:  2019-11-13 11:55
作者: janfoe

将数以十万计的物理服务器从线下数据中心迁移到了云上
=====是用飞机驮上去的吗?物理服务器上挂氦气球吗?直接接的雷电?
时间:  2019-11-13 13:58
作者: qfh19860722

阿里云。牛逼
时间:  2019-11-13 14:28
作者: coffee198375

今年的剁手最干脆,爽。。。。
时间:  2019-11-13 16:03
作者: 聊胜于无

guanlw1987 发表于 2019-11-13 11:22
刚试了下,结果是
C:\Users\guanlw>nslookup
默认服务器:  public1.114dns.com

自己动手,丰衣足食
时间:  2019-11-13 16:05
作者: 聊胜于无

guanlw1987 发表于 2019-11-13 11:22
刚试了下,结果是
C:\Users\guanlw>nslookup
默认服务器:  public1.114dns.com

涉及商业信息,我不能说答案。再查一下增值电信业务许可,你就懂了
时间:  2019-11-13 20:28
作者: amethyst1328


时间:  2019-11-13 20:40
作者: 114_starlight

不明觉厉~
时间:  2019-11-14 08:16
作者: make111000

不得不服,阿里云确实厉害。不知道华为的云和阿里云能掰手腕么
时间:  2019-11-14 10:36
作者: villa007

飞天神龙,下一步入地潜海
时间:  2019-11-14 11:39
作者: 坡_special

国家队组建的基础通信网络才是重点,用户体验与阿里对接的带宽也有很大的关系
时间:  2019-11-14 16:11
作者: rogerman114

以后超级计算机还有没有前途?




通信人家园 (https://www.txrjy.com/) Powered by C114