隨著互聯(lián)網(wǎng)的發(fā)展進入下半場，數(shù)據(jù)的時效性對企業(yè)的精細化運營越來越重要。商場如戰(zhàn)場，在每天產(chǎn)生的海量數(shù)據(jù)中，如何實時挖掘有價值的信息并快速觸達客戶，對企業(yè)的運營決策調(diào)整、用戶體驗提升等都有很大幫助。為了讓數(shù)據(jù)更高效的反哺業(yè)務(wù)、更及時地支撐決策，最大化發(fā)揮數(shù)據(jù)價值，企業(yè)開始探索通過構(gòu)建實時數(shù)倉來滿足快速獲取數(shù)據(jù)的需求。
實時數(shù)據(jù)倉庫集實時數(shù)據(jù)采集、實時數(shù)據(jù)處理、離線數(shù)據(jù)校正和數(shù)據(jù)定制化展示4大功能一體，可支持實時經(jīng)營分析、實時營銷、實時風控等場景的需求。新場景的出現(xiàn)催產(chǎn)出新的技術(shù)，新一代實時計算引擎Flink的興起，在超高性能、數(shù)據(jù)一致性保障、SQL化編程方式等特點下也推動了實時數(shù)倉的發(fā)展。基于Flink架構(gòu)的實時數(shù)倉為各類實時應(yīng)用場景提供數(shù)據(jù)基礎(chǔ)，在數(shù)據(jù)中臺體系中起著至關(guān)重要的作用。
長亮科技作為金融科技領(lǐng)先企業(yè)，也對實時數(shù)倉建設(shè)做了大量的嘗試和實踐。本文將以長亮科技參與建設(shè)的某城商行實時數(shù)倉建設(shè)項目為引子，分享基于Flink技術(shù)組件建設(shè)實時數(shù)倉的經(jīng)驗。
某城商行實時數(shù)倉建設(shè)方案
實時數(shù)倉建設(shè)在保證數(shù)據(jù)準確性的情況，最優(yōu)先考慮的問題就是如何保證數(shù)據(jù)的實時性，因此Kafka、Hbase這類讀寫效率較高的技術(shù)組件成為實時數(shù)倉數(shù)據(jù)交換組件的首選。根據(jù)選型組件的特性以及實時性的要求，實時數(shù)倉架構(gòu)分層需注意以下幾點：
· 簡化鏈路，盡可能縮減數(shù)據(jù)處理鏈路，最大化保證數(shù)據(jù)實時性；
· 實時數(shù)倉數(shù)據(jù)流轉(zhuǎn)在Kafka去結(jié)構(gòu)化消息隊列，數(shù)倉各層需分工明確，方便操作人員對數(shù)據(jù)進行回溯、定位；
· 準備離線數(shù)據(jù)對實時數(shù)據(jù)的校驗，防止計算錯誤或者遺漏的情況；
· 因為實時數(shù)倉任務(wù)均為7x24不間斷運行，如果出現(xiàn)意外情況某一層鏈路終端，實時數(shù)倉就會出現(xiàn)斷數(shù)的情況，這時候需要離線數(shù)據(jù)保證查詢服務(wù)可以正常返回數(shù)據(jù)。
綜上所述，實時數(shù)倉構(gòu)建分為4層，各層具體說明如下：
· RTL：技術(shù)解析層，通過數(shù)據(jù)采集工具收集各個業(yè)務(wù)源數(shù)據(jù)，數(shù)據(jù)結(jié)構(gòu)保持一致；
· ROL：貼源層，分為實時區(qū)和離線區(qū)兩個區(qū)域，實時區(qū)存放經(jīng)過一定清洗/標準化的數(shù)據(jù)，離線區(qū)存放每日同步的離線維度數(shù)據(jù)；
· RCL：匯總共享層，存放輕度匯總和可以共享的數(shù)據(jù)，數(shù)據(jù)按照一定規(guī)則進行分類，達到可以復(fù)用的目的；
· RDL：數(shù)據(jù)服務(wù)層，將RCL層數(shù)據(jù)進行指標化加工，包括分析、應(yīng)用匯總類指標以及明細數(shù)據(jù)；分為實時區(qū)和離線區(qū)，實時區(qū)存放實時指標結(jié)果，離線區(qū)存放每日離線指標結(jié)果，用于數(shù)據(jù)保底與實時數(shù)據(jù)校驗。
不同場景下的實時數(shù)據(jù)處理鏈路
實時數(shù)據(jù)應(yīng)用包含實時指標計算、流式傳輸、實時風控、實時營銷、實時對客等多種業(yè)務(wù)場景。基于FlinkSQL+OLAP的生產(chǎn)鏈路，實時數(shù)據(jù)通過采集工具同步至消息隊列進行承載，再經(jīng)由實時數(shù)倉進行業(yè)務(wù)加工后，落地到各類存儲，最后由下游業(yè)務(wù)系統(tǒng)接收處理或者由數(shù)據(jù)服務(wù)平臺推送給各類終端進行展示，整條鏈路兼顧了數(shù)據(jù)的時效性與查詢的高效性。
在某城商行實時數(shù)倉建設(shè)項目中，其主要業(yè)務(wù)場景包括實時資產(chǎn)負債、實時管理駕駛艙以及實時監(jiān)管數(shù)據(jù)監(jiān)測等。
場景一：實時資產(chǎn)負債：實時獲取各業(yè)務(wù)系統(tǒng)用戶動賬后的余額，通過關(guān)聯(lián)相關(guān)維度信息補充數(shù)據(jù)到結(jié)果表，后續(xù)由前端查詢實時結(jié)果表返回數(shù)據(jù)；
通過構(gòu)建實時、離線兩張Hbase結(jié)果表并實時比對的方式應(yīng)對用戶對實時交易、不動帳的實時查詢需求，相比于采取“昨日離線余額+今日實時發(fā)生額”的原始查詢方案，更能提升查詢結(jié)果的時效性，規(guī)避了每日日切時間與跑批時間段的空窗期數(shù)據(jù)時效性的問題。
場景二：實時管理駕駛艙：通過實時獲取交易動賬，對全行級別的資金流入流出金額、客戶資產(chǎn)、申貸金額及人數(shù)等指標進行實時展示；
以實時資金流入流出統(tǒng)計為例，對當日交易動賬數(shù)據(jù)按照指標粒度進行分組聚合，保證每個粒度在RDL層rowkey相同，每獲取到一條動賬信息，計算出最新的資金金額后根據(jù)rowkey實時更新hbase表結(jié)果數(shù)據(jù)。
場景三：實時監(jiān)管數(shù)據(jù)監(jiān)測：根據(jù)制定的監(jiān)管命中邏輯對當日交易流水進行監(jiān)控，符合命中邏輯的數(shù)據(jù)發(fā)送到下游進行交易限制等處理；
以涉賭涉詐需求為例，監(jiān)管命中邏輯為在非柜面系統(tǒng)中，連續(xù)發(fā)生涉及5個不同用戶名及以上的收款、轉(zhuǎn)賬等資金交易，且每筆交易間隔不超過3分鐘、每筆金額在0.01-10元。此類場景可基于Flink的over窗口功能與事件時間，通過計算交易流水前后一段時間內(nèi)對手客戶數(shù)量及交易金額，判斷是否滿足命中邏輯，從而打上命中標記發(fā)往下游系統(tǒng)。
通過采用Flink技術(shù)構(gòu)建實時數(shù)倉，我們將數(shù)據(jù)生產(chǎn)的各個環(huán)節(jié)抽象化形成實時數(shù)倉的各層架構(gòu)，實現(xiàn)了全棧實時數(shù)據(jù)應(yīng)用的數(shù)據(jù)源統(tǒng)一，保障了應(yīng)用數(shù)據(jù)指標和維度的口徑一致，助力獲取實時數(shù)據(jù)的便捷性和時效性大大提升，從而提升客戶的整體運營效率。
結(jié)語：
在當前數(shù)字化轉(zhuǎn)型大潮中，實時數(shù)據(jù)倉庫的建設(shè)作為數(shù)據(jù)中臺體系的重要組成部分，對金融機構(gòu)而言意義重大。而長亮科技在實時數(shù)據(jù)處理領(lǐng)域有豐富的實施經(jīng)驗，已為中國銀行、南京銀行、柳州銀行等不同規(guī)模的銀行提供了實時數(shù)據(jù)處理解決方案。未來，長亮科技將在實時數(shù)倉領(lǐng)域探索更多新業(yè)務(wù)形態(tài)的落地，助力客戶高效挖掘數(shù)據(jù)價值、反哺業(yè)務(wù)發(fā)展！
