KAFKA有哪些特性

本篇內容主要講解“KAFKA有哪些特性”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“KAFKA有哪些特性”吧!

1、高并發
這個通常是說一個系統能承受大量的連接，已經非常高的并發；
在kafka中，主要是得益于優秀的網絡通信框架設計，即前面講到的結合Reactor設計模式實現的網絡底座。
這個網絡框架封裝自Java的NIO庫，底層的網絡IO模型采用的是多路復用的網絡IO，也就是通過一個selector可以管理成千上萬的連接，相比于傳統BIO大大的節約了服務端維護連接的開銷。
其次就是結合Reactor設計模式實現的網絡底座，分為三個角色，acceptor、processor、handler，將網絡事件與業務邏輯進一步拆分解解耦，提升了網絡事件的執行效率。

2、高吞吐
吞吐需要分為兩部分討論
2.1、寫入吞吐量，主要是得益于追加寫的性能極高，kafka是如何實現追加寫的呢？簡單的說來其實底層就是持有目標文件的channel，然后基于channel去進行追加寫即可，
那么是怎么持有文件的channel的呢？在創建segment也就是日志文件的時候就已經知道對應文件在哪兒并持有對應的file引用了，因此就避免了還需要進行磁盤尋址的開銷，
基于這個文件的channel就可以進行追加寫入。

public static FileRecords open(File file,                               boolean mutable,                               boolean fileAlreadyExists,                               int initFileSize,                               boolean preallocate) throws IOException {// 拿到這個log文件對應的fileChannel    FileChannel channel = openChannel(file, mutable, fileAlreadyExists, initFileSize, preallocate);    int end = (!fileAlreadyExists && preallocate) ? 0 : Integer.MAX_VALUE;    return new FileRecords(file, channel, 0, end, false);}

private static FileChannel openChannel(File file,                                       boolean mutable,                                       boolean fileAlreadyExists,                                       int initFileSize,                                       boolean preallocate) throws IOException {    // 通過RandomAccessFile拿到對應的fileChannel    if (mutable) {if (fileAlreadyExists) {return new RandomAccessFile(file, "rw").getChannel();        } else {if (preallocate) {                RandomAccessFile randomAccessFile = new RandomAccessFile(file, "rw");                randomAccessFile.setLength(initFileSize);                return randomAccessFile.getChannel();            } else {return new RandomAccessFile(file, "rw").getChannel();            }
        }
    } else {return new FileInputStream(file).getChannel();    }
}

public int writeFullyTo(GatheringByteChannel channel) throws IOException {    // 這個buffermemoryRecords中的一個屬性    // 在初始化的時候被賦值的    // 那么在哪里初始化的呢？這個是從ProduceRequest中被取出來的    buffer.mark();    // 經典的NIO寫文件循環操作    int written = 0;    while (written < sizeInBytes())// 直接寫os cache中，而不是寫在磁盤文件里        written += channel.write(buffer);    buffer.reset();    return written;}

2.2、讀取吞吐量，這個主要是利用網上常說的zore copy，這零拷貝簡單的說來OS提供了一個系統調用，可以讓網卡根據少量的元數據信息，就可以直接從OS CACHE中讀取目標數據
從而避免了這部分數據拷貝到用戶空間（JVM），再拷貝到socket緩沖區，幾乎消除了CPU拷貝數據的開銷，同時也減少了用戶態/內核態切換的開銷，從而在數據發送的方面，zore copy性能極高。

話又說回來，kafka是怎么利用zore copy的呢？很簡單，源碼如下FileRecords的writeTo函數：

public long writeTo(GatheringByteChannel destChannel, long offset, int length) throws IOException {long newSize = Math.min(channel.size(), end) - start;    int oldSize = sizeInBytes();    if (newSize < oldSize)throw new KafkaException(String.format("Size of FileRecords %s has been truncated during write: old size %d, new size %d",                file.getAbsolutePath(), oldSize, newSize));    long position = start + offset;    int count = Math.min(length, oldSize);    final long bytesTransferred;    if (destChannel instanceof TransportLayer) {
        TransportLayer tl = (TransportLayer) destChannel;        bytesTransferred = tl.transferFrom(channel, position, count);    } else {        bytesTransferred = channel.transferTo(position, count, destChannel);    }return bytesTransferred;}

3、高性能，低延時
這兩個放在一起討論呢，主要是這高性能這東西很泛，方方面面的良好設計才有了整體的高性能，舉個栗子，前面提到的時間輪的設計，就是很經典的例子。
低延時主要是得益于可以寫OS CACHE，如果不設置強制刷盤的話，寫入OS CACHE之后就算本地寫入成功了，寫內存是非?？斓?，所以結合追加寫，整個操作的時延就非常低。

4、高可靠，高可用
高可靠一般是指消息高可靠，主要是基于副本設計，讓一條數據有多個副本分散到不同的機器，從而提供了不錯的高可靠性。
高可用一般是指機器出現宕機等異常情況依舊能正常提供服務，在服務端的體現的話，主要是就是controller的設計，可以通過zk感知到broker的變化，從而做一系列的狀態變更；
最后還有ISR的設計，以及副本的主從設計，在出現leader副本所在broker宕機的時候，可以從剩余的優先副本中選出一個leader來繼續提供服務，保障服務高可用。

到此，相信大家對“KAFKA有哪些特性”有了更深的了解，不妨來實際操作一番吧！這里是億速云網站，更多相關內容可以進入相關頻道進行查詢，關注我們，繼續學習！