企业网站定制开发Structed Streaming入门--Scala篇

第1关:Structed streaming初体验

任务描述
本关任务:编写一个Structed Streaming版的WordCount。

相关知识
编程模式
企业网站定制开发假如你想从socket接收数据并将其输出到控制台,Structed streaming是这样做的:

创建Sparksession
import org.apache.spark.sql.functions._
import org.apache.spark.sql.SparkSession
val spark = SparkSession
.builder
.appName(“StructuredNetworkWordCount”)
.getOrCreate()
import spark.implicits._
创建流式
val lines = spark.readStream
.format(“socket”)
.option(“host”, “localhost”)
.option(“port”, 9999)
.load()
启动流式查询
val query = lines.writeStream
.outputMode(“complete”)
.format(“console”)
.start()
等待停止指令
query.awaitTermination()

这样,数据就输出到控制台了,平常,我们在创建流式DataFrame后会做各种查询操作

接下来,我们对上面代码做一个更详细的说明

package com
    网站建设定制开发 软件系统开发定制 定制软件开发 软件开发定制 定制app开发 app开发定制 app开发定制公司 电商商城定制开发 定制小程序开发 定制开发小程序 客户管理系统开发定制 定制网站 定制开发 crm开发定制 开发公司 小程序开发定制 定制软件 收款定制开发 企业网站定制开发 定制化开发 android系统定制开发 定制小程序开发费用 定制设计 专注app软件定制开发 软件开发定制定制 知名网站建设定制 软件定制开发供应商 应用系统定制开发 软件系统定制开发 企业管理系统定制开发 系统定制开发