選單

星環ArgoDB+英特爾第三代至強=分散式快閃記憶體資料庫“蛻變”

數字化時代,我們的的一舉一動,一言一行,都幻化成了海量的資料。

星環ArgoDB+英特爾第三代至強=分散式快閃記憶體資料庫“蛻變”

許多人都有過這樣的經歷——你可以隨時在銀行、運營商查詢最近幾個月或者近一年的賬單;但當時間跨度超過一年的時候,系統查詢的時間就要長一些,你可能會間歇性的等待幾秒鐘。這並不是系統在“偷懶”,相反它正在全速幫你從曾經的資料庫中檢索資料。

這就是線上業務與離線業務的區別。對於那些檢索頻次高、應用範圍廣的資料,許多都儲存在線上資料庫中,方便使用者隨時調取;而對於那些時間比較長或者檢索頻率低的資料,更多時候會儲存在離線資料庫中,這樣就可以進一步降低使用成本,也提升了整個系統的資源利用效率。

但是這種好處也並不是一概而論的。資料查詢與檢索是一件複雜性的工程。要知道,目前中國用於商用的資料庫種類達到了60多種,這還不包括許多企業自行開發的開源版本。換句話說,這些不同品牌的資料庫很容易產生資料應用的壁壘,也讓你在資料應用中遇到包括應用複雜性、資料處理速度、系統吞吐能力、平臺部署與調優等多個層面的問題,相應的也就影響了使用者決策,制約行業發展的關鍵。而想要解決這個問題,最重要的就是提升資料檢索的效率,即提升資料處理效能與系統吞吐能力。

以最看中安全、穩定性的金融業務為例。我們許多人都有跟銀行打交道的經歷。以往我們去銀行辦理業務大多是對應後端的結構化資料庫,比如我們的每一筆交易都在這裡;但是如今銀行也強調非結構化資料的應用,比如人臉識別、比如賬戶開戶的全程錄影,這些非結構化的資料同樣需要儲存在資料中,也使得原本的資料應用形態和方式產生了改變。

在傳統環境中,資料庫大多針對結構化資料所構建,所採用的也多是機械硬碟;許多人對於資料庫的效能雖然有所認知,但是受限於吞吐量能力,大部分人對於資料庫效能的要求也並不高,甚至穩定性的要求更勝一籌。但是伴隨著大資料和人工智慧時代的來臨,高效率、低延遲、實時響應等需求的出現使得傳統資料庫已經不再複合應用需求,越來越多的供應商也開始結合全快閃記憶體開發新的資料庫平臺,以滿足使用者對於極致效能的需求。

分散式資料庫的出現恰恰是解決了資料利用的效率與安全性等諸多問題。叢集中的每臺伺服器可能有DBMS的一份完整複製副本,或者部分複製副本,並具有自己區域性的資料庫,位於不同地點的許多計算機透過網路互相連線,共同組成一個完整的、全域性的邏輯上集中、物理上分佈的大型資料庫。這樣無論是從資料調取的效率還是在資料安全、穩定等多個方面都有所提升。

星環科技就是這其中的佼佼者。作為一家專注於企業級大資料基礎軟體的公司,星環科技自創立時起就推出了多款大資料基礎軟體平臺,特別是其中一款名為Transwarp ArgoDB的分散式關係型資料庫產品獲得行業的認可與青睞。甚至在幾年前,星環科技還憑藉Transwarp ArgoDB成為了英特爾精選解決方案之一。而伴隨著不久前的升級,Transwarp ArgoDB也採用了全新發布的第三代英特爾至強可擴充套件處理器,從而將效能表現提升到了新的層級。

Argo這個單詞取自太陽帆,由一箇中心出發展開多個葉片,同時也是星座名,星環科技用Argo來命名自家的分散式快閃記憶體資料庫產品,體現一個多模資料庫可以滿足多種應用場景,同時太陽帆螺旋結構具有運動感和速度感,體現出ArgoDB的高效能,也是希望Argo這艘太陽帆能幫助客戶徜徉在大資料的世界當中,與大家一起迎風破浪,披荊斬棘。事實上,結合當下開源開放的趨勢,分散式資料庫也成為了許多企業的選擇,Transwarp ArgoDB更是憑藉完整的SQL支援、分散式事務支援、實時與批次資料接入、海量資料OLAP和離線分析、支援三級混合儲存等五大特性獲得了行業的認可。而在這五大特性之中,後三者都與全快閃記憶體的效能直接相關。

星環ArgoDB+英特爾第三代至強=分散式快閃記憶體資料庫“蛻變”

比如“實時與批次資料接入”。ArgoDB的這一特性支援實時和批次兩種資料匯入方式。線上業務使用實時資料接入,保證資料時效性;資料倉庫等離線業務使用批次資料匯入方式,吞吐更高。很顯然,這就要求系統具備實時響應的效果,而藉助於英特爾快閃記憶體平臺的優勢,ArgoDB不但保質保量的完成資料寫入任務,還可以在PB級別的資料量上同時支撐離線分析和高併發的實時/準實時的資料集市類業務,讓系統的儲存與計算能力得到更大幅度的提升,具備了更大的效能優勢。

更重要的是,ArgoDB支援記憶體/快閃記憶體/磁碟的三級混合儲存,這讓它不僅僅具備了全快閃記憶體的優勢,還能夠相容傳統的資料庫平臺。比如對於同一張報表來說,DBA可以指定副本的儲存策略,如一副本儲存在快閃記憶體,兩副本儲存在磁碟,這樣多種備份方式大大提升了系統安全性和可靠性。多級儲存也使得使用者可以更好的在效能和硬體預算間找到平衡點。

俗話說——火車跑得快,全憑車頭帶。想要讓資料處理速度更上一層樓,除了提升儲存介質與演算法最佳化之外,更重要的、更直接的方式就是採用更強大的計算平臺,為此星環採用了第三代英特爾至強可擴充套件處理器,透過軟硬體結合的方式為客戶提供超強算力。

為了驗證這種提升,星環科技與英特爾在測試中選擇了TPC-H基準測試。這是一個面向決策支援系統的基準測試,由一套面向業務的即席查詢和併發資料修改組成,模擬資料庫日常應用的情況,可以檢索大量資料,執行高度複雜的查詢,併為關鍵業務問題提供答案。

星環ArgoDB+英特爾第三代至強=分散式快閃記憶體資料庫“蛻變”

在實際測試中,星環科技選擇了計算密集的相關查詢 1、4、5、9、10、16、18、20 和 21等專案。而測試結果顯示,相較於上代CPU, 第三代英特爾至強可擴充套件處理器使得星環科技Transwarp ArgoDB的每小時查詢處理數(Query Per Hour,QPH)提升了40%。這大大解決了以往計算密集作業下CPU效能不足的效率瓶頸,更好地滿足離線批處理資料倉庫、實時資料分析平臺、OLAP 資料庫、全文檢索資料庫等負載的計算要求,也讓整體效能獲得提升。

不僅如此,藉助於英特爾固態盤DC P4510、英特爾固態盤D3 S4510和英特爾網絡卡等產品,整個英特爾至強可擴充套件家族也對效能實現了加成,這樣對於使用者來說也一勞永逸的解決了後續應用困難。而從使用者最關心的成本控制角度來說,正因為新平臺效能的優勢,使得原本單伺服器節點的QPH效能得到巨大提升,使用者能夠減少基礎設施所需要部署的伺服器節點規模,減少相應的採購、能源、運維、空間等成本,也符合當下國家強調的“碳達峰”、“碳中和”需求。

正如星環科技聯合創始人兼副總裁朱珺辰所強調的那樣:“近年來,星環科技與英特爾進行了廣泛而深入的合作,不但持續在英特爾架構上最佳化大資料、雲計算和人工智慧產品,還合作加快第三代英特爾至強可擴充套件處理器的應用落地。此次在星環科技Transwarp ArgoDB測試中的例項顯示,第三代英特爾至強可擴充套件處理器在效能上相對上代產品有著顯著的優勢,結合精選解決方案在可用性、擴充套件性等方面的優勢,能夠幫助使用者加快以資料為中心的變革。”

如今,隨著網際網路的飛速發展,人類社會的資料量迅速激增,我們一年產生的資料就相當於人類進入現代化以前所有歷史的總和,甚至許多業務量很可能在短短的一個月內突然爆發式地增長几千倍,對應的資料也很可能快速地從原來的幾百GB飛速上漲到了幾百個TB,這對於各行各業都產生了全新的挑戰,尤其對於一貫以穩健著稱的金融行業來說,更需要的全面的轉型與升級。

在這個過程中,我們更需要能夠快速響應、零延遲服務的資料平臺,而基於第三代英特爾至強可擴充套件處理器的星環分散式資料庫Transwarp ArgoDB則扮演了更為重要的角色,使得以銀行為代表的金融業無論是在結構化還是非結構化資料上都能夠快速響應,同時也幫助金融應用更快落地,使得業務本身無論從執行速度還是從使用者體驗上都有了全新的升級,更適合未來大資料、數字化的應用需求。