如何進行基于mdrill的大數據分析，相信很多沒有經驗的人對此束手無策，為此本文總結了問題出現的原因和解決方法，通過這篇文章希望你能解決這個問題。
mdrill是由阿里開源的一套數據的軟件，針對TB級數據量，能夠僅用10臺機器，達到秒級響應，數據能實時導入,可以對任意的維度進行組合與過濾。
mdrill作為數據在線分析處理軟件，可以在幾秒到幾十秒的時間，分析百億級別的任意組合維度的數據。
在阿里10臺機器完成每日30億的數據存儲，其中10億為實時的數據導入，20億為離線導入。目前集群的總存儲1000多億80~400維度的數據。
1.滿足大數據查詢需求：adhoc每天的數據量為30億條，隨著日積月累，數據會越來越大，mdrill采用列存儲，索引，分布式技術，適當的分區等滿足用戶對數據的實時在線分析的需求。
2.支持增量更新：離線形式的mdrill數據支持按照分區方式的增量更新。
3.支持實時數據導入：在僅有10臺機器的情況下，支持每天10億級別（高峰每小時2億）的實時導入。
4.響應時間快：列存儲、倒排索引、高效的數據壓縮、內存計算，各種緩存、分區、分布式處理等等這些技術，使得mdrill可以僅在幾秒到幾十秒的時間分析百億級別的數據。
5.低成本：目前在阿里adhoc僅僅使用10臺48G內存的PC機，但確存儲了超過千億規模的數據。
6.全文檢索模式：強大的條件設置，任意組合，無論難易秒級預覽，每天160億的數據隨意篩選。
時間點 | 數據量 | 事件 |
12年12月 | 小于2億 | adhoc首次上線 |
13年1月 | 20~30億 | 由2臺機器擴容到了10臺 |
13年5月2日 | 100億 | 首次過百億 |
13年7月24日 | 400億 | 首次開源 |
13年11月 | 1000億 | 全文檢索模式ods_allpv_ad_d上線 |
13年12月 | 1500億 | 實時數據以及無線數據的接入 |
14年2月 | 3200億 | 目前只有11臺機器，硬盤使用率30% |
看完上述內容，你們掌握如何進行基于mdrill的大數據分析的方法了嗎？如果還想學到更多技能或想了解更多相關內容，歡迎關注億速云行業資訊頻道，感謝各位的閱讀！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
