圖片來源@視覺中國

文 | 阿里云，分享 | 李飛飛（阿里巴巴集團副總裁）

上世紀80年代初，數(shù)據庫系統(tǒng)逐步走上信息技術舞臺的中央，2000年開始大數(shù)據技術興起，再到2010年后云計算熱度持續(xù)升溫。技術的進程走到了今天這個奇妙的節(jié)點，看向未來，有幾個趨勢可能會發(fā)生。 

僅以此文，分享一些淺見和實踐。 

三段交叉的技術史

過去40年，數(shù)據庫系統(tǒng)、大數(shù)據和云計算三項技術交替興起。 

首先是數(shù)據庫系統(tǒng)，成型于上個世紀80年代，是計算機領域三大基礎軟件系統(tǒng)之一。早期的關系型數(shù)據庫以甲骨文數(shù)據庫為代表，取得了巨大的商業(yè)成功。后來出現(xiàn)了MySQL、PostgreSQL等開源的關系型數(shù)據庫。 

90年代，隨著關系型數(shù)據庫的廣泛應用，產生了大量的數(shù)據，分析這些結構化的數(shù)據對分析型的數(shù)據庫系統(tǒng)提出了很高的要求，因而在90年代涌現(xiàn)出了一批分析型數(shù)據庫系統(tǒng)。

世紀更迭，2000年到2010年，大數(shù)據技術走上歷史舞臺的時代。大數(shù)據技術誕生的原因有以下兩方面： 

一是大數(shù)據的產生。隨著以谷歌為代表的互聯(lián)網公司的發(fā)展，產生了大量數(shù)據。

二是獲取、處理、分析數(shù)據的方式不一樣。比如說銀行最簡單的交易、轉賬，對隔離、一致性、持久性有非常嚴格的要求。大數(shù)據不一樣，單一數(shù)據對最終結果沒有特別影響。這種應用場景和傳統(tǒng)的聯(lián)機交易關系型數(shù)據庫完全不同。

于是，大數(shù)據系統(tǒng)應運而生，谷歌發(fā)表了耳熟能詳?shù)姆植际轿募到y(tǒng)、分布式表格存儲、MapReduce三大論文，奠定了今天大數(shù)據的整個技術生態(tài)圈的基石。

2010年后，另一個趨勢是云計算的熱度逐漸升溫。云計算的本質就是利用分布式技術將資源高效池化，而對應用做到透明的集中式部署。 

把云計算、數(shù)據庫、以及大數(shù)據發(fā)展結合起來看，數(shù)據系統(tǒng)本質上就是對數(shù)據從生產、處理、消費、存儲的一個全鏈路的過程。 

云計算對數(shù)據處理系統(tǒng)產生了非常大的影響：

第一，  云原生技術在數(shù)據處理系統(tǒng)深入的應用；

第二，  傳統(tǒng)的關系型數(shù)據庫和傳統(tǒng)大數(shù)據生態(tài)正在快速發(fā)生融合。

業(yè)界發(fā)展的趨勢，是資源的池化，資源解耦，以云原生、分布式的技術為基礎，打造下一代的數(shù)據處理系統(tǒng)。舉例來說，阿里云數(shù)據庫之所以能夠支撐雙11，也是在不斷實踐基于這些理念的思考。

以雙11為例，第一張圖是歷年雙11的零點交易峰值的曲線，最新的2020年雙11的零點的峰值是58萬筆/秒。每一筆交易還會有一個拆單的動作，到數(shù)據庫系統(tǒng)就是每秒幾百萬TPS。

第二張圖是系統(tǒng)零點負載的瞬間變化曲線，一秒鐘時間內系統(tǒng)負載瞬間爆發(fā)了145倍。如果不是利用云原生的技術，簡單依賴傳統(tǒng)技術根本無法滿足這種高并發(fā)、彈性、高可用的要求。

幾個重要趨勢

從架構的角度來看，數(shù)據庫系統(tǒng)的變化如下圖所示：

左邊是傳統(tǒng)的馮諾依曼架構；右邊是分布式架構；中間是云原生的架構，背后大量利用了分布式技術。這種資源池化帶來的彈性、高可用的能力顯而易見。

這是今天三種不同的架構，有以下幾個趨勢：

1. l  大數(shù)據和數(shù)據庫一體化；
2. l  云原生和分布式技術結合；
3. l  智能化；
4. l  多模數(shù)據處理;
5. l  軟硬件一體化：例如，利用高速網絡等來提升數(shù)據處理系統(tǒng)的性能和效率；
6. l  安全可信：例如，如何確保數(shù)據不可更改。 

結合阿里云數(shù)據庫的核心技術，把以上背景、趨勢實例化：

• 云原生關系型數(shù)據庫PolarDB 

PolarDB的每個數(shù)據塊分成三個物理節(jié)點，不用關心分布式帶來的挑戰(zhàn)，比如分庫分表、分布式的查詢，對應用完全透明，讀寫一份數(shù)據，做到了分布式技術透明化、集中式部署。

PolarDB是阿里云自研的云原生數(shù)據庫，創(chuàng)新采用存儲與計算架構分離設計，能在分鐘級別部署一個新的計算節(jié)點、或者擴容存儲節(jié)點。同時，在性能上做了大量的優(yōu)化，非常好地兼容了生態(tài)，比如100%兼容MySQL和PostgreSQL，高度兼容Oracle。 

在實際的客戶案例里，利用PolarDB Oracle兼容版替換現(xiàn)有的Oracle，在性能一樣的前提下，整體成本不到原來的三分之一。 

除了云原生的架構，也有分布式架構版的PolarDB-X。在每個分區(qū)里面做這種三節(jié)點的架構，同時三節(jié)點利用協(xié)議做數(shù)據的一致性保障，而且三節(jié)點可以做到同城跨AZ部署。

•  一體化設計是下一代數(shù)據分析系統(tǒng)的核心理念 

下一代的系統(tǒng)，是將云原生技術和分布式技術合二為一：上面是分布式，而下面是云原生的方式實現(xiàn)，每個分區(qū)都可以享受云原生帶來彈性、高可用的能力，同時上面有分布式帶來的水平拓展的能力，解決高并發(fā)可能帶來的瓶頸問題。

• 云原生數(shù)據倉庫ADB

云原生的數(shù)據倉庫本質上也是云原生的架構，存儲池化、計算池化、存儲計算分離，同時實現(xiàn)海量存儲彈性，輕量化部署。 

利用這些技術實現(xiàn)數(shù)據處理和計算分析的離在線一體化，數(shù)據庫與大數(shù)據一體化。如同現(xiàn)實生活中的倉庫，所有物品要分門別類放好，所以數(shù)據倉庫比較適合已經范式化的數(shù)據格式、業(yè)務類型比較固定的場景，性價比非常高。

在云原生數(shù)倉方面，我們也利用這套架構研發(fā)了AnalyticDB(ADB)支持了淘寶天貓對實時交易數(shù)據進行在線交互式分析和計算的需求，同時支持復雜的離線ETL與在線分析的融合。 

• 數(shù)據湖

數(shù)據湖，“湖底”的數(shù)據參差不齊，“湖面”卻是平的。不同于數(shù)據倉庫，數(shù)據湖的存儲是多源異構的，只需要有一個統(tǒng)一的界面對這些數(shù)據進行分析、處理。

以阿里云的云原生Serverless數(shù)據湖解決方案DLA為例，基于對象存儲，對多源異構的數(shù)據存儲進行統(tǒng)一的計算和分析，利用云原生的Serverless技術可以用非常低成本的實現(xiàn)彈性高可用的能力，并且滿足安全性的要求。

• 多模、智能化和安全可信

在管控這一層實現(xiàn)異常檢測、安全診斷，通過K8S這套編排技術，把多源異構的資源管理起來，打造智能化的運維管控平臺。 

我們做了全加密的數(shù)據庫，數(shù)據進入內核以后不需要解密。利用安全硬件技術做了全加密的流程和保護，實現(xiàn)了不解密也能進行數(shù)據加工和處理。 

數(shù)據業(yè)務的多樣化帶來了除了結構化數(shù)據之外的多模數(shù)據，例如文本、時序、圖片、圖數(shù)據等非結構化數(shù)據。針對多模數(shù)據，我們設計研發(fā)了基于云原生架構的多模數(shù)據庫Lindorm以及云原生內存數(shù)據庫Tair來支持多模數(shù)據處理。

最后是生態(tài)工具，從傳輸、備份到管理。傳輸采用DTS，做端到端數(shù)據的同步，用DBS數(shù)據備份做多云多端的邏輯備份、物理備份，DMS做企業(yè)級的開發(fā)建模流程, ADAM做針對基于傳統(tǒng)數(shù)據庫和數(shù)據倉庫開發(fā)的應用評估和遷移。

今年疫情期間，各行各業(yè)有一個非常大的變化——傳統(tǒng)的離線業(yè)務和在線業(yè)務在快速融合，線上線下的邊界越來越模糊。

這帶來的挑戰(zhàn)是，業(yè)務波峰波谷的變化越來越劇烈。這是疫情帶來的必然變化，數(shù)字化的轉型也是一個必然發(fā)生的事實。在這種背景下，云原生數(shù)據庫、云原生數(shù)倉等產品，將會服務越來越多“線上線下邊界模糊”的各行各業(yè)。

【鈦媒體作者簡介：李飛飛，現(xiàn)任阿里巴巴集團副總裁、高級研究員，阿里云智能數(shù)據庫事業(yè)部總負責人。美國計算機協(xié)會ACM杰出科學家，加入阿里巴巴之前為美國猶他大學計算機系終身教授?！?/p>