面對小張遇到的棘手問題，云湖湖推薦了一款華為云大數(shù)據(jù)查詢分析神器——數(shù)據(jù)湖探索(DLI)服務；一個DLI即可撬動EB級數(shù)據(jù)量聯(lián)合查詢，每CU僅需0.35元/小時（1CU=1Core4G Mem），1CU包月僅需150元。
數(shù)據(jù)湖探索(DLI)服務 2.0是完全兼容Apache Spark和Apache Flink生態(tài)的Serverless大數(shù)據(jù)計算分析服務，用戶僅需使用標準SQL或程序即可查詢分析各類異構(gòu)數(shù)據(jù)源。
DLI是如何解決小張問題的呢？
1、 DLI服務架構(gòu)——Serverless
DLI是無服務器化的大數(shù)據(jù)查詢分析服務它的優(yōu)勢在于:
01. 按量計費：真正的按使用量(掃描量/CU時)計費,不運行作業(yè)時0費用。
02. 自動擴縮容：根據(jù)業(yè)務負載，對計算資源進行預估和自動擴縮容。
DLI Serverless架構(gòu)就可輕松解決小張成本、資源不足和臨時性業(yè)務需求的問題。
2、 DLI核心引擎——Spark+Flink
Spark是用于大規(guī)模數(shù)據(jù)處理的統(tǒng)一分析引擎，聚焦于查詢計算分析。DLI在開源Spark基礎上進行了大量的性能優(yōu)化與服務化改造，不僅兼容Apache Spark生態(tài)和接口，性能較開源提升了2.5倍，在小時級即可實現(xiàn)EB級數(shù)據(jù)查詢分析。同時，DLI也提供用于實時處理的Flink引擎。
3、 DLI王牌功能——跨源分析
DLI支持云上多種云服務、自建數(shù)據(jù)庫以及線下數(shù)據(jù)庫，可直接實現(xiàn)多數(shù)據(jù)源跨庫分析，構(gòu)建企業(yè)的統(tǒng)一視圖。
小張將線下數(shù)倉A與數(shù)倉B同時接入DLI，就可直接在DLI上進行聯(lián)合查詢。避免了兩倉數(shù)據(jù)遷移再重新建倉進行聯(lián)合查詢的過程，輕松搞定跨庫查詢。
數(shù)據(jù)湖探索(DLI)服務的其他優(yōu)勢
1. 純SQL操作：提供標準SQL接口，用戶僅需使用SQL便可實現(xiàn)海量數(shù)據(jù)查詢分析。
2. 存算分離：存儲和計算解耦，分開申請和計費，降低成本的同時，提高了資源利用率。
3. 企業(yè)級多租戶：支持計算資源按租戶隔離，數(shù)據(jù)權(quán)限控制到隊列、作業(yè)，幫助企業(yè)實現(xiàn)部門間數(shù)據(jù)共享和權(quán)限管理
4. 免運維、高可用：用戶無需感知底層運維、升級、跨AZ高可用，跨AZ雙活。
數(shù)據(jù)湖探索(DLI)服務的應用場景
1. 數(shù)據(jù)庫分析+DLI 2.0 ：一鍵建倉 保留數(shù)據(jù)庫的易用體驗
痛點：
01. 數(shù)據(jù)庫多無法做全量分析
02. 數(shù)據(jù)庫復雜關系無法查詢
03. 影響在線其他數(shù)據(jù)業(yè)務
解決方案：
僅使用標準SQL即可完成大數(shù)據(jù)查詢分析
2. 精準營銷+DLI 2.0：電商智能推薦 跨庫跨源海量數(shù)據(jù)秒級查詢
痛點：
01. 數(shù)據(jù)源太多怎么聯(lián)合分析
02. 智能推薦需要短時間內(nèi)實現(xiàn)
解決方案：
DLI跨源能力，輕松打破數(shù)據(jù)孤島?，F(xiàn)已支持10類數(shù)據(jù)源和線下自建數(shù)據(jù)。
3. 日志分析+DLI 2.0：公司必備場景 按量計費成本更低
痛點：
01. 日志分析時間跨度大
02. 資源空閑大利用率低
解決方案：
DLI按量計費，單CU每小時僅需0.35元。
4. 實時風控+DLI 2.0：金融、運維等實時場景 減少風險事件發(fā)生
痛點：
01. 數(shù)據(jù)刷新不及時，風險事件頻繁發(fā)生
02. 需要深入了解Flink后臺架構(gòu)進行實時數(shù)據(jù)分析
解決方案：
風控系統(tǒng)對實時性要求很高，DLI采用高性能計算資源，單CPU每秒吞吐1千~2萬條消息。
