超AI說 | CDP落地難,如何解決數據治理和安全合規兩大痛點?
2021-11-25
關于CDP落地的困難和瓶頸,一是如何降低CDP在數據治理過程當中的成本,提高數據治理的效率;二是,現在國內對于數據安全以及個人隱私保護的要求越來越高,對于我們的數據使用,或者對外的數據交換和數據集成的應用場景帶來了非常明顯的限制。
對于數據治理,很明顯,不同的企業有不同的數據源,不同的數據源有不同的接入方式。比如說有些企業的接入方式既包含一些文件、SFTP,也包含一些API和Kafka的流式數據,或者從數據庫里面直接拉。這其實對于我們數據接入的實施帶來了一定的標準化的要求和困難。
即使是相同的數據類型,它的數據字段也是不一樣的。以交易數據為例,統一的線上交易平臺的交易數據可能是一樣的,但不同企業線下交易數據的數據結構基本上都是不一樣的。可能有一些企業會有門店ID,需要做一些門店的區分,其他企業可能沒有門店的區分。這其實對于后續數據的業務理解和數據模型的建立其實也帶來一定的困難。
在明略科技集團的標準CDP當中,對于這兩點也有一些解決方案。
對于數據接入渠道紛繁復雜的這個問題,其實明略科技CDP在數據接入模塊當中已經支持了市面上主流的一些數據接入渠道的適配,我們在數據治理或者數據接入實施的時候,就可以使用同一套的標準化、可視化的解決方案,來進行多渠道的數據接入。
對于數據的業務邏輯或者數據結構不標準的問題,明略科技在標準CDP當中預設了一些標準的數據模型。比如說交易的數據模型,會預設一些標準的交易上正常所帶有的字段,比如說交易的渠道、門店、金額、消費者ID、SKU等信息,然后我們會基于標準的數據模型,指導項目上數據治理的實施同學,基于標準的數據模型進行數據處理,而不用做一些額外的定制化數據處理的思考,減少數據治理實施的成本。
隨著《數據安全法》和《個人信息保護法》的不斷更新和推出,市場上對于數據安全的要求越來越高。對于CDP來說,又主要有兩大難點:一是怎么更好地保證CDP內的數據安全或者數據加密;二是在CDP內怎么進行更好、更合規的數據交換。
對于數據加密來說,一般行業內的要求基本上是要保證CDP在數據存儲的時候支持靜態加密,以及數據輸出的時候支持可逆的或不可逆的加密,來保證數據儲存和輸出時的安全,以防意外。當我們數據被拖庫的時候,能保證我們數據不會有敏感信息的泄露。
在CDP數據交換上和輸出上的要求,一般行業內目前的解決方案主要是采用聯邦學習或者諸如此類的同態加密的解決方案,在不泄露個人隱私或者個人信息的情況下,支持聯合建模、聯合的數據畫像工作,來保證在合規的情況下進行一定的數據交換和數據集成。
數據合規交換方面,明略科技也有自己的一些實踐。
目前我們跟頭部的互聯網電商平臺有聯邦學習的合作。具體來說,我們可以幫客戶出一個人群包的特征數據,互聯網的電商平臺有消費者在電商平臺的購買的特征數據,然后雙方通過聯邦學習的方式,明略科技使用具體的消費者CDP一方的數據做特征,電商平臺使用它的購買行為做特征,結合雙方的特征和標簽,使用聯邦學習同態加密的方式,在不泄露用戶隱私的情況下拿到更好的模型效果。
最后再總結一下明略科技CDP在技術產品上的一些優勢。
第一,明略科技CDP具有比較好的擴展性。
無論是數據量上的橫向擴展性,還是同時支持數據的離線處理和實時處理的縱向擴展性。有了這些擴展性,明略科技CDP無論是現在還是將來,在業務場景和業務量不斷拓展的情況下,都能比較好地支持業務。
第二,明略科技CDP服務了比較多的客戶,對于重點功能模塊都有比較好的業務積累。
比如說對于SuperID模塊,明略科技CDP因為服務的客戶比較多,知道如何保證更加好地進行ID打通,更好地保證打通的準確性和質量。對于數據治理模塊,明略科技CDP知道如何更好地進行數據接入,如何標準化數據模型、沉淀業務知識,整體上降低數據治理的成本。
第三,明略科技CDP對于數據安全和數據合規上有非常好的實踐和思考。
具體來說,明略科技CDP可以支持靜態加密、數據輸出上的加密。明略科技CDP也有一些數據交換上的實踐,比如說聯邦學習上的實踐,來保證我們在行業不斷合規、更加安全的情況下,業務還能比較好、比較合規地進行發展。
信息填寫