spark的缺點是什么

這篇文章主要介紹“spark的缺點是什么”，在日常操作中，相信很多人在spark的缺點是什么問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”spark的缺點是什么”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

Q1：spark streaming 可以不同數據流 join嗎？

• Spark Streaming不同的數據流可以進行join操作；

• Spark Streaming is an extension of the core Spark API that allows enables high-throughput, fault-tolerant stream processing of live data streams. Data can be ingested from many sources like Kafka, Flume, Twitter, ZeroMQ or plain old TCP sockets and be processed using complex algorithms expressed with high-level functions like map, reduce, join and window

• join(otherStream, [numTasks])：When called on two DStreams of (K, V) and (K, W) pairs, return a new DStream of (K, (V, W)) pairs with all pairs of elements for each key.

Q2：flume  與  spark streaming 適合 集群模式嗎？

• Flume與Spark Streaming是為集群而生的；

• For input streams that receive data over the network (such as, Kafka, Flume, sockets, etc.), the default persistence level is set to replicate the data to two nodes for fault-tolerance.

• Using any input source that receives data through a network - For network-based data sources like Kafka and Flume, the received input data is replicated in memory between nodes of the cluster (default replication factor is 2).

Q3：spark有缺點嘛？

• Spark的核心缺點在于對內存的占用比較大；

• 在以前的版本中Spark對數據的處理主要的是粗粒度的，難以進行精細的控制；

• 后來加入Fair模式后可以進行細粒度的處理；

Q4：spark streming現在有生產使用嗎？

• Spark Streaming非常易于在生產環境下使用；

• 無需部署，只需安裝好Spark，，就按照好了Spark Streaming；

• 國內像皮皮網等都在使用Spark Streaming；

到此，關于“spark的缺點是什么”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！