本篇文章為大家展示了ElasticSearch實用化訂單搜索方案是怎樣的,內容簡明扼要并且容易理解,絕對能使你眼前一亮,通過這篇文章的詳細介紹希望你能有所收獲。
站外推廣系統訂單報表一直是一個痛點,研究后選擇ES搜索引擎進行改造。上線來遇到很多問題,經歷了很多的修改,現在系統終于正常運行,滿足訂單報表大數據量、實時更新、響應快、多維度查詢的需求。
搜索引擎中,主要考慮到ES支持結構化數據查詢以及支持實時頻繁更新特性:
整個業務線使用服務化方式,ES集群和數據庫分庫,作為數據源被訂單服務系統封裝為對外統一接口;各前后臺應用和報表中心,使用服務化的方式獲取訂單數據。
ES數據更新有批量更新和實時更新兩種:
1、手動更新為初始化數據,或者修復數據時使用
2、實時更新通過監控數據庫訂單表的binlog,進行實時同步
對于頻繁更新一定要考慮到使用SSD
因為是訂單數據,并且有頻繁數據更新,所以我們選擇自己指定的唯一id,具體對比如下:
實時數據更新采用監聽數據庫binlog的方式實現:
不一致原因:
1、各域代碼發布
2、網絡延時
3、集群故障
4、vdp、vms丟數據
解決方案:
1、使用調度任務,每天對比三個月內每天的數據
2、如果存在數據不一致,自動批量同步當天數據
3、數據不一致,自動發送告警郵件
4、調度任務可隨時手動終止
5、至今尚未出現不一致的情況
上述內容就是ElasticSearch實用化訂單搜索方案是怎樣的,你們學到知識或技能了嗎?如果還想學到更多技能或者豐富自己的知識儲備,歡迎關注億速云行業資訊頻道。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。