Sèvis

Mekanis netwayaj done Spark Streaming
(I) DStream ak RDD
Jan nou konnen deja, kalkil Spark Streaming baze sou Spark Core, epi nwayo Spark Core a se RDD, kidonk Spark Streaming dwe gen rapò ak RDD tou. Sepandan, Spark Streaming pa pèmèt itilizatè yo itilize RDD dirèkteman, men li fè abstraksyon sou yon seri konsèp DStream. DStream ak RDD se relasyon enklizif. Ou ka konprann li kòm modèl dekorasyon an nan Java, sa vle di, DStream se yon amelyorasyon RDD, men konpòtman an sanble ak RDD.
DStream ak RDD tou de gen plizyè kondisyon.
(1) gen aksyon transfòmasyon sanblab, tankou map, reduceByKey, elatriye, men tou kèk inik, tankou Window, mapWithStated, elatriye.
(2) yo tout gen aksyon Aksyon, tankou foreachRDD, count, elatriye.
Modèl pwogramasyon an konsistan.
(B) Entwodiksyon DStream nan Spark Streaming
DStream gen plizyè klas ladan l.
(1) Klas sous done, tankou InputDStream, espesifik tankou DirectKafkaInputStream, elatriye.
(2) Klas konvèsyon, tipikman MappedDStream, ShuffledDStream
(3) klas pwodiksyon, tipikman tankou ForEachDStream
Apati sa ki anwo yo, done yo depi nan kòmansman (antre) rive nan fen (sorti) fèt pa sistèm DStream la, sa vle di ke itilizatè a nòmalman pa ka jenere epi manipile RDD yo dirèkteman, sa vle di ke DStream la gen opòtinite ak obligasyon pou l responsab sik lavi RDD yo.
Nan lòt mo, Spark Streaming gen yonnetwayaj otomatikfonksyon.
(iii) Pwosesis jenerasyon RDD nan Spark Streaming
Jan sa a, lavi RDD yo nan Spark Streaming se apeprè.
(1) Nan InputDStream, done yo resevwa yo transfòme an RDD, tankou DirectKafkaInputStream, ki jenere KafkaRDD.
(2) Lè sa a, atravè MappedDStream ak lòt konvèsyon done, fwa sa a yo rele dirèkteman RDD ki koresponn ak metòd kat jeyografik la pou konvèsyon an.
(3) Nan operasyon klas pwodiksyon an, sèlman lè RDD a ekspoze, ou ka kite itilizatè a fè depo ki koresponn lan, lòt kalkil, ak lòt operasyon.