Sèvis

Mekanis netwayaj done Spark Streaming
(I) DStream ak RDD
Kòm nou konnen, kalkil Spark Streaming baze sou Spark Core, ak nwayo Spark Core se RDD, kidonk Spark Streaming dwe gen rapò ak RDD tou.Sepandan, Spark Streaming pa kite itilizatè yo itilize RDD dirèkteman, men abstrè yon seri konsèp DStream, DStream ak RDD se relasyon enklizif, ou ka konprann li kòm modèl dekorasyon nan Java, se sa ki, DStream se yon amelyorasyon nan RDD, men konpòtman an sanble ak RDD.
DStream ak RDD tou de gen plizyè kondisyon.
(1) gen aksyon transfòmasyon menm jan an, tankou kat, reduceByKey, elatriye, men tou, kèk inik, tankou Window, mapWithStated, elatriye.
(2) tout gen aksyon aksyon, tankou foreachRDD, konte, elatriye.
Modèl pwogramasyon an konsistan.
(B) Entwodiksyon DStream nan Spark Streaming
DStream gen plizyè klas.
(1) Klas sous done, tankou InputDStream, espesifik tankou DirectKafkaInputStream, elatriye.
(2) Klas konvèsyon, anjeneral MappedDStream, ShuffledDStream
(3) klas pwodiksyon, tipikman tankou ForEachDStream
Soti nan pi wo a, done yo depi nan konmansman an (antre) rive nan fen (pwodiksyon) sistèm nan DStream fè, ki vle di ke itilizatè a nòmalman pa ka dirèkteman jenere ak manipile RDDs, ki vle di ke DStream la gen opòtinite ak obligasyon yo dwe. responsab pou sik lavi RDD yo.
Nan lòt mo, Spark Streaming gen yonnetwayaj otomatikfonksyon.
(iii) Pwosesis jenerasyon RDD nan Spark Streaming
Koule lavi RDD yo nan Spark Streaming se ki graj jan sa a.
(1) Nan InputDStream, done yo resevwa yo transfòme an RDD, tankou DirectKafkaInputStream, ki jenere KafkaRDD.
(2) Lè sa a, atravè MappedDStream ak lòt konvèsyon done, fwa sa a yo rele dirèkteman RDD ki koresponn ak metòd kat jeyografik la pou konvèsyon.
(3) Nan operasyon klas pwodiksyon an, sèlman lè RDD a ekspoze, ou ka kite itilizatè a fè depo ki koresponn lan, lòt kalkil ak lòt operasyon.