第1关:Structed streaming初体验
任务描述
本关任务:编写一个Structed Streaming版的WordCount。
相关知识
编程模式
企业网站定制开发假如你想从socket接收数据并将其输出到控制台,Structed streaming是这样做的:
创建Sparksession
import org.apache.spark.sql.functions._
import org.apache.spark.sql.SparkSession
val spark = SparkSession
.builder
.appName(“StructuredNetworkWordCount”)
.getOrCreate()
import spark.implicits._
创建流式
val lines = spark.readStream
.format(“socket”)
.option(“host”, “localhost”)
.option(“port”, 9999)
.load()
启动流式查询
val query = lines.writeStream
.outputMode(“complete”)
.format(“console”)
.start()
等待停止指令
query.awaitTermination()
这样,数据就输出到控制台了,平常,我们在创建流式DataFrame后会做各种查询操作
接下来,我们对上面代码做一个更详细的说明
package com