2021年6月23日，以“轉(zhuǎn)型新范式”為主題的2021第四范式發(fā)布會暨企業(yè)智能化轉(zhuǎn)型峰會在京召開。峰會上，第四范式宣布將開源OpenMLDB機(jī)器學(xué)習(xí)數(shù)據(jù)庫和OpenAIOS人工智能操作系統(tǒng)內(nèi)核，并開放上線了基于機(jī)器學(xué)習(xí)數(shù)據(jù)庫和AI操作系統(tǒng)內(nèi)核的AIOS社區(qū)版，讓更多企業(yè)、個人開發(fā)者在“避坑”的同時，正確高效的構(gòu)建智能化應(yīng)用。
很多企業(yè)和開發(fā)者在使用機(jī)器學(xué)習(xí)技術(shù)的時候已經(jīng)意識到正確數(shù)據(jù)供給的重要性，然而現(xiàn)有的傳統(tǒng)數(shù)據(jù)系統(tǒng)，不論是事務(wù)型數(shù)據(jù)庫、分析型數(shù)據(jù)庫還是傳統(tǒng)數(shù)倉，都無法面向機(jī)器學(xué)習(xí)提供正確高效的數(shù)據(jù)供給，在實際應(yīng)用開發(fā)與落地過程中仍然會大量出現(xiàn)數(shù)據(jù)穿越、泄露、離線在線不一致、拼接錯位等數(shù)據(jù)問題。這是因為機(jī)器學(xué)習(xí)需要解決三個核心數(shù)據(jù)問題：線上線下一致性(Consistency)、數(shù)據(jù)閉環(huán)(Closed-loop)、數(shù)據(jù)時序正確(Chronology)。
OpenMLDB一方面通過統(tǒng)一的數(shù)據(jù)存儲引擎避免了跨數(shù)據(jù)庫的信息交換，從而避免了大腦之間的信息交換。另一方面通過統(tǒng)一的數(shù)據(jù)計算引擎，使離線和在線使用同一套計算邏輯，確保了總結(jié)規(guī)律和線索演算時思維方式的一致。在時序正確性和閉環(huán)完整性上，OpenMLDB 也矯正了傳統(tǒng)數(shù)據(jù)系統(tǒng)造成的機(jī)器學(xué)習(xí)最易出現(xiàn)的數(shù)據(jù)穿越、泄露以及閉環(huán)錯位等問題。
除了數(shù)據(jù)上的困局，AI在計算、存儲、通信等方面也是“資源大戶”，低效的硬件資源利用率和高昂的成本投入成為了轉(zhuǎn)型的阻礙。不管是計算、存儲還是通信，不同的異構(gòu)芯片、異構(gòu)存儲、異構(gòu)通信設(shè)備，都需要操作系統(tǒng)內(nèi)核進(jìn)行統(tǒng)一的管理與調(diào)度，保障任務(wù)的成功率與資源利用率。第四范式OpenAIOS是一個完全面向AI的分布式操作系統(tǒng)內(nèi)核，實現(xiàn)了多級計算內(nèi)核、多級存儲內(nèi)核以及多級通信內(nèi)核，來應(yīng)對異構(gòu)算力的管理和調(diào)度。
以多級存儲內(nèi)核為例，面向存儲密集型技術(shù)組件，因為內(nèi)存和顯存不夠?qū)е碌娜蝿?wù)失敗是AI任務(wù)最常遇到的難題，在不侵入現(xiàn)有應(yīng)用和代碼的情況下，OpenAIOS 在操作系統(tǒng)內(nèi)部建立起一套面向內(nèi)存和顯存的多級存儲內(nèi)核，通過自動擴(kuò)容策略和多級緩存機(jī)制將存儲容量進(jìn)行擴(kuò)展，降低整體存儲成本的同時提高任務(wù)的成功率。
除了存儲密集型技術(shù)組件，面向計算密集型技術(shù)組件、通信密集型技術(shù)組件，OpenAIOS也提供了感知硬件拓?fù)涞漠悩?gòu)計算調(diào)度能力，以及面向異構(gòu)加速器的專用通信協(xié)議，提升計算效率的同時，減輕數(shù)據(jù)通信上的壓力。
在開源的基礎(chǔ)上，第四范式開放了開箱即用的“AIOS社區(qū)版”，整合了提供正確數(shù)據(jù)供給的機(jī)器學(xué)習(xí)數(shù)據(jù)庫OpenMLDB以及提升計算效率的AI操作系統(tǒng)內(nèi)核OpenAIOS，社區(qū)和開發(fā)者可在免費的線上算力和應(yīng)用開發(fā)環(huán)境進(jìn)行體驗和學(xué)習(xí)。并支持多種本地 IDE，讓大家保持PC上開發(fā)單機(jī)應(yīng)用體驗的同時，無縫的將分布式任務(wù)對接到異構(gòu)云資源上。在應(yīng)用的開放性上， 除了內(nèi)置的核心應(yīng)用，AIOS 社區(qū)版也提供了應(yīng)用商店， 能夠支持所有的云原生第三方應(yīng)用。
此外，第四范式也進(jìn)一步公布了“Knot 中國結(jié)”開源計劃，將在一年內(nèi)開源開放95%的核心技術(shù)，未來三年為企業(yè)培養(yǎng)超過10000名AI應(yīng)用開發(fā)人才。
【劃重點】
歡迎大家復(fù)制以下GitHub鏈接，分享及下載第四范式開源機(jī)器學(xué)習(xí)數(shù)據(jù)庫OpenMLDB及開源人工智能操作系統(tǒng)內(nèi)核OpenAIOS
OpenAIOS Github:
