Spark Streaming怎么批量寫入HBase

本篇內容介紹了“Spark Streaming怎么批量寫入HBase”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

val ssc = new StreamingContext(conf, Seconds(10))     val lines = ssc.textFileStream("hdfs://master:9000/woozoom/").repartition(12).map(_.split(","))     lines.foreachRDD { rdd =>       {         if (rdd.count > 100) {           rdd.foreachPartition { part =>             {               val hbaseConf = HBaseConfiguration.create()               val htable = new HTable(hbaseConf, TableName.valueOf("UAV_LOG"))               htable.setAutoFlush(false, false)               htable.setWriteBufferSize(3 * 1024 * 1024)               part.foreach { log =>                 {                   htable.put(convertFromLogToHabse(log))                 }               }               htable.flushCommits()             }           }         }       }     }
    ssc.start()     ssc.awaitTermination()

“Spark Streaming怎么批量寫入HBase”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！