這篇文章將為大家詳細講解有關Kafka的核心實踐是什么，文章內容質量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關知識有一定的了解。
1.版本升級
之前大數據平臺一直使用的是0.8.3這一Kafka早期版本，而截止到當前，Kafka官方最新的Release版本已經到了2.3，于是長期使用0.8版本過程中漸漸遇到的很多瓶頸和問題，我們是能夠通過版本升級來解決的。
舉例來說，以下是一些之前使用舊版時常見的問題：
缺少對Security的支持:存在數據安全性問題及無法通過認證授權對資源使用細粒度管理
brokerunderreplicated：發現broker處于underreplicated狀態，但不確定問題的產生原因，難以解決。
新的feature無法使用：如事務消息、冪等消息、消息時間戳、消息查詢等。
客戶端的對offset的管理依賴zookeeper,對zookeeper的使用過重,增加運維的復雜度
監控指標不完善：如topic、partition、broker的數據size指標,同時kafkamanager等監控工具對低版本kafka支持不好
同時對一些目標版本的特性進行了選型調研，如：
0.9版本,增加了配額和安全性,其中安全認證和授權是我們最關注的功能
0.10版本，更細粒度的時間戳.可以基于偏移量進行快速的數據查找，找到所要的時間戳。這在實時數據處理中基于Kafka數據源的數據重播是極其重要的
0.11版本,冪等性和Transactions的支持及副本數據丟失/數據不一致的解決。
1.1版本，運維性的提升。比如當ControllerShutDown，想要關閉一個Broker的時候，之前需要一個很長很復雜的過程在1.0版本得到很大的改善。
最終選擇1.1版本,則是因為出于Camus與Kafka版本的兼容性及1.1版本已經滿足了使用場景中重要新特性的支持的綜合考量。這里再簡單說一下Camus組件，同樣是由Linkedin開源，在我們的大數據平臺中主要作為Kafka數據Dump到HDFS的重要方式。
關于Kafka的核心實踐是什么就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
