數(shù)據(jù)作為一種新興的生產(chǎn)要素，被稱為數(shù)字時代的“新石油”，是基礎(chǔ)性資源和戰(zhàn)略性資源，也是重要的生產(chǎn)力。如何更高效地管理和利用數(shù)據(jù)，推動數(shù)據(jù)資源轉(zhuǎn)化為數(shù)字資產(chǎn)，成為了各行各業(yè)面臨的關(guān)鍵問題。
近兩年來，國家先后發(fā)布《關(guān)于構(gòu)建數(shù)據(jù)基礎(chǔ)制度更好發(fā)揮數(shù)據(jù)要素作用的意見》、《數(shù)字中國建設(shè)整體布局規(guī)劃》等政策，以促進(jìn)數(shù)據(jù)、分析和AI在經(jīng)濟(jì)中的應(yīng)用。在《數(shù)字中國建設(shè)整體布局規(guī)劃》中還提及，到2025年要基本形成橫向打通、縱向貫通、協(xié)調(diào)有力的一體化推進(jìn)格局，實現(xiàn)數(shù)據(jù)資源規(guī)模和質(zhì)量加快提升，數(shù)據(jù)要素價值有效釋放，數(shù)字經(jīng)濟(jì)發(fā)展質(zhì)量效益大幅增強(qiáng)。
值得注意的是，目前數(shù)據(jù)編織平臺正通過對數(shù)據(jù)的優(yōu)質(zhì)處理，為AI在學(xué)習(xí)訓(xùn)練的過程注入更多“源頭活水”，從而進(jìn)一步提升其性能和應(yīng)用范圍。AI技術(shù)的不斷進(jìn)步也推動數(shù)據(jù)構(gòu)建架構(gòu)的優(yōu)化、更新，以適應(yīng)新的生成模型需求。
由于對數(shù)據(jù)編織架構(gòu)、數(shù)據(jù)產(chǎn)品交付以及支持生成式AI的集成數(shù)據(jù)的需求即將到來，數(shù)據(jù)集成工具市場正在蓬勃發(fā)展。數(shù)據(jù)和分析領(lǐng)導(dǎo)者應(yīng)該利用這項研究來評估合適的供應(yīng)商，以滿足他們的數(shù)據(jù)集成需求。
權(quán)威信息技術(shù)分析公司Gartner連續(xù)三年將數(shù)據(jù)編織技術(shù)（Data Fabric）列為“十大數(shù)據(jù)和分析技術(shù)趨勢”之一。在該公司此前發(fā)布的中國數(shù)據(jù)分析與人工智能技術(shù)的相關(guān)報告中，數(shù)據(jù)編織技術(shù)與大模型一并被列為有望膨脹發(fā)展的技術(shù)。
Gartner高級研究總監(jiān)張桐也表示：“數(shù)據(jù)、分析和AI用例的出現(xiàn)，以及快速變化的數(shù)據(jù)安全法規(guī)，導(dǎo)致了中國數(shù)據(jù)管理的復(fù)雜性和不確定性。數(shù)據(jù)編織能充分利用沉沒成本，同時也能為數(shù)據(jù)管理基礎(chǔ)設(shè)施方面的新支出提供優(yōu)先級排序和成本控制指導(dǎo)。”
據(jù)悉，數(shù)據(jù)編織是一種設(shè)計框架，用于獲得靈活而且可復(fù)用的數(shù)據(jù)管道、服務(wù)和語義，涉及數(shù)據(jù)集成、主動元數(shù)據(jù)、知識圖譜、數(shù)據(jù)剖析、機(jī)器學(xué)習(xí)和數(shù)據(jù)分類。能集成來自不同數(shù)據(jù)源的數(shù)據(jù)，安全提供不同數(shù)據(jù)對象的“集成視圖”，將“集成數(shù)據(jù)”用于分析和操作。
數(shù)據(jù)編織相關(guān)技術(shù)的應(yīng)用能提供值得信賴的數(shù)據(jù)基礎(chǔ)，提高生成模型的相關(guān)性和準(zhǔn)確性，成為解決企業(yè)AI部署難題的重要路徑。與此同時，生成式AI也降低了數(shù)據(jù)管理的使用門檻，大大拓展了數(shù)據(jù)編織的應(yīng)用規(guī)模。生成式AI與數(shù)據(jù)編織互利共進(jìn)，正為數(shù)據(jù)管理市場帶來更大的發(fā)展機(jī)遇。
以全球性的制藥公司為例，在進(jìn)行藥物的生產(chǎn)、商品化、零售運營的過程中，會用到大量數(shù)據(jù)，后續(xù)生產(chǎn)的產(chǎn)品進(jìn)入到醫(yī)院端，還需要進(jìn)行各種臨床數(shù)據(jù)驗證，不同的階段都會出現(xiàn)不同的表現(xiàn)。在這個過程中，制藥公司不僅要獲取各種健康相關(guān)的數(shù)據(jù)，還要在每一個垂類中，針對面臨的難點、痛點，獲得高質(zhì)量并且不違規(guī)、不會涉及隱私侵犯的數(shù)據(jù)。
面對如此龐大的數(shù)據(jù)量，數(shù)據(jù)編織的重要性顯得尤為突出。鈦媒體APP了解到，應(yīng)對數(shù)據(jù)量陡增，數(shù)據(jù)編織被認(rèn)為能為海量數(shù)據(jù)快速、有序分析提供有效方案，以虛擬化的方式對數(shù)據(jù)進(jìn)行“編織”，使得數(shù)據(jù)無需復(fù)制就可以整合，且不受數(shù)據(jù)源、格式的限制，還隱藏了數(shù)據(jù)本身的復(fù)雜性和差異性。
在近期召開的數(shù)據(jù)編織研討會上，數(shù)據(jù)管理領(lǐng)域的資深專家、被稱為“邏輯數(shù)據(jù)編織之父”的Denodo技術(shù)公司首席執(zhí)行官兼創(chuàng)始人Angel Viña表示，從物理數(shù)據(jù)庫、數(shù)據(jù)倉庫到現(xiàn)在的數(shù)據(jù)湖，傳統(tǒng)的數(shù)據(jù)管理側(cè)重于將數(shù)據(jù)集中到單個存儲單元中，需要大量開發(fā)人員，一旦數(shù)據(jù)源變化頻繁更新，獲取數(shù)據(jù)的效率就會大幅降低。邏輯數(shù)據(jù)編織可以使用更少的資源、更低的成本，實現(xiàn)更快的數(shù)據(jù)獲取時間，也由此成為數(shù)據(jù)管理新的發(fā)展方向。
據(jù)了解，Denodo于1999年創(chuàng)立于西班牙，目前已為金融保險、制造、高新技術(shù)、零售、教育、醫(yī)療、能源等行業(yè)客戶提供服務(wù)，并且多年蟬聯(lián)Gartner魔力象限數(shù)據(jù)集成工具領(lǐng)導(dǎo)者、Forrester Wave數(shù)據(jù)編織領(lǐng)導(dǎo)者位置。
2019年，Denodo正式進(jìn)入中國，在基于企業(yè)數(shù)字化轉(zhuǎn)型各類項目場景與需求，為企業(yè)不同關(guān)鍵角色帶來顯著價值及成果。如幫助CDO及數(shù)據(jù)管理部門打造數(shù)據(jù)民主化的數(shù)據(jù)自助服務(wù)，幫助CIO及IT部門實現(xiàn)IT 基礎(chǔ)設(shè)施現(xiàn)代化，幫助COO及運營部門提高運行效率、靈活性和韌性，為CMO、CRO及市場與收入部門打造改善客戶體驗的數(shù)據(jù)基礎(chǔ)，以及實現(xiàn)風(fēng)險、合規(guī)的集中管理等。
此外，在大量數(shù)據(jù)需求的基礎(chǔ)下，Denodo進(jìn)行統(tǒng)一的數(shù)據(jù)處理，以便其獲得更高質(zhì)量的信息，并在需要時“隨取隨用”；而在IT領(lǐng)域，Denodo則支持?jǐn)?shù)據(jù)遷移、相關(guān)數(shù)據(jù)的合規(guī)使用、建模過程等。
根據(jù)IDC機(jī)構(gòu)調(diào)研的數(shù)據(jù)顯示，2023年，中國大數(shù)據(jù)市場規(guī)模達(dá)到194.8億美元，預(yù)計到2027年將增長至425億美元，CAGR（復(fù)合增長率）將達(dá)到21.5%，硬件服務(wù)器、AI數(shù)據(jù)存儲仍是投資重點方向。此外，企業(yè)認(rèn)為有60%的業(yè)務(wù)數(shù)據(jù)是有價值的，而這些數(shù)據(jù)中僅有56%被實際分析；有18%的企業(yè)認(rèn)為“缺乏高質(zhì)量數(shù)據(jù)”是其在組織中使用生成式AI的障礙之一。
IDC中國高級分析師李浩然指出，決策者普遍預(yù)測企業(yè)未來的數(shù)據(jù)量、數(shù)據(jù)速度以及多樣性會增加，以需要滿足更加快速的業(yè)務(wù)決策和市場挖掘探索需求。同時，他還表示：“未來五年，資產(chǎn)績效管理、創(chuàng)新研發(fā)、數(shù)據(jù)探索將會更加重要，而數(shù)據(jù)編織作為一種最佳實現(xiàn)路徑，可以實現(xiàn)對數(shù)據(jù)更好的管理和價值挖掘。”
目前數(shù)據(jù)編織技術(shù)在國內(nèi)的發(fā)展還處于早期階段，在政策利好及市場需求驅(qū)動下，中國數(shù)據(jù)市場規(guī)模正迎來快速增長，數(shù)據(jù)管理需求持續(xù)升高。對于中國企業(yè)來說，能否激活數(shù)據(jù)要素、釋放數(shù)據(jù)價值，成為在激烈的全球競爭中取得先機(jī)的關(guān)鍵。（本文首發(fā)于鈦媒體 APP，作者｜陳偉納）
快報
根據(jù)《網(wǎng)絡(luò)安全法》實名制要求，請綁定手機(jī)號后發(fā)表評論