用一个例子告诉你 怎样在spark中创建广播变量
创始人
2024-06-03 01:24:19
0

目录

1.什么是广播变量(Broadcast Variables)

2.使用广播变量 

3.重点关注


1.什么是广播变量(Broadcast Variables)

广播变量是Spark提供的一个共享变量(Shared Variables),允许同一个Executor中的多个Task读取同一份数据
    默认情况下,如果Executor节点上使用到了Driver端定义的变量(通过算子传递)
    算子会将该变量的副本发送的每个Task任务,反序列化后存储在Task节点内存中
    但是Spark为我们提供了一个共享变量,允许Driver端和Task之间共享一个变量
    降低通信成本和内存成本


2.使用广播变量 

  test("对吧 广播变量和join算子") {// 初始化 spark配置实例val sparkconf: SparkConf = new SparkConf().setMaster("local[4]").setAppName("")// 初始化 spark环境对象val sc: SparkContext = new SparkContext(sparkconf)var list: List[(Int, Int)] = List((1, 21), (2, 23), (3, 30), (4, 35))val rdd: RDD[(Int, String)] = sc.parallelize(List((1, "张飞"), (2, "赵云"), (3, "关羽"), (4, "奉先"), (5, "子路")))/** 使用spark的join算子** */val joinResult = rdd.join(sc.parallelize(list))joinResult.foreach(println(_))println("------------------------------------")/** 使用广播变量* */// TODO 1. 在Driver端声明广播变量val bc: Broadcast[Map[Int, Int]] = sc.broadcast(list.toMap)val bcResult: RDD[(Int, (String, Any))] = rdd.map(e => {// TODO 2. 在Task中读取广播变量val map: Map[Int, Int] = bc.value(e._1, (e._2, bc.value.getOrElse(e._1, null)))}).filter(_._2._2 != null)bcResult.foreach(println(_))while (true) {}sc.stop()}


3.重点关注 

1.广播变量是怎样 提升计算效率?
      减少了数据分发的次数,降低通信成本
      避免了Task节点反序列化变量副本,降低了内存成本
2.使用场景
     关联静态维表
     过滤黑名单、白名单
     join

传送门1: 传送门

传送门2:  传送门2

相关内容

热门资讯

自动打开应用安卓系统,安卓系统... 你有没有想过,手机里的那些应用,有时候真是让人又爱又恨呢?有时候,我们急需某个应用,却得费老大力气去...
安卓系统防沉迷软件,守护青少年... 你有没有发现,现在手机上玩游戏的诱惑力简直让人无法抗拒?尤其是安卓系统,那丰富的游戏资源,简直让人停...
流量最快的安卓系统,揭秘流量最... 你有没有想过,为什么你的手机总是那么卡,而别人的手机却像开了挂一样流畅?是不是好奇,为什么有些安卓系...
小米5换换安卓系统,畅享极致性... 你有没有想过,你的小米5手机,那个陪伴你走过无数日夜的小家伙,是不是也该给它来个“换新装”了呢?没错...
国产的安卓系统手机,畅享智能生... 你有没有发现,最近国产的安卓系统手机越来越火了?没错,就是那种咱们自己研发的系统,那种让外国品牌都不...
安卓系统刷入停止,探究原因与解... 你有没有遇到过这种情况?手机刷机过程中突然停止了,安卓系统刷入停滞不前,心里那个急啊!别慌,今天就来...
汽车是安卓系统嘛,安卓系统在智... 你有没有想过,汽车里那个神奇的操作系统,是不是和安卓手机里的一样呢?没错,今天咱们就来聊聊这个话题—...
网易狼人杀 安卓系统,体验指尖... 亲爱的玩家们,你是否曾在深夜里,手机屏幕前,与一群好友展开一场惊心动魄的“狼人杀”对决?今天,就让我...
小米安卓系统小主机,探索小米安... 你有没有想过,家里的电视、电脑、平板,甚至手机,其实都可以变成一个超级智能的娱乐中心?没错,这就是小...
卡刷安卓系统大全,全面解析各类... 你有没有想过,你的安卓手机可以像变形金刚一样,随心所欲地变换模样?没错,今天就要给你揭秘一个神奇的世...
安卓系统测试流畅度,安卓系统流... 你有没有发现,现在手机更新换代的速度简直就像坐上了火箭呢!尤其是安卓系统,每次更新都让人眼前一亮。但...
安卓系统50怎么升级,轻松迈向... 亲爱的安卓用户们,你是否也像我一样,对安卓系统的更新充满了期待?没错,就是那个让我们的手机焕然一新的...
安卓5.1.1操作系统,系统特... 你知道吗?在手机世界里,操作系统就像是个大管家,它不仅决定了手机的脸面,还掌管着手机的所有“家务事”...
手机安卓系统如果升级,体验流畅... 亲爱的手机控们,你们有没有发现,你的安卓手机最近是不是总在提醒你更新系统呢?别急,别急,今天就来给你...
安卓系统怎么禁止待机,安卓系统... 手机待机时间短,是不是让你头疼不已?别急,今天就来教你一招,让你的安卓手机告别“短命”模式,延长待机...
亿联安卓苹果系统,跨平台沟通新... 你知道吗?在科技飞速发展的今天,手机操作系统可是咱们日常生活中不可或缺的一部分。说起手机系统,亿联安...
smoothx安卓系统安装ap... 你有没有想过,为什么你的手机里总是乱糟糟的,各种app堆在一起,找起来费劲得很?别急,今天就来教你怎...
安卓系统图库在哪里,图库应用位... 你有没有发现,手机里的照片越来越多,有时候想找一张特定的照片,却像大海捞针一样困难?别急,今天就来告...
安卓7.0系统自带彩蛋,隐藏彩... 你知道吗?安卓7.0系统里竟然藏着不少小秘密,就像一颗颗隐藏的彩蛋,等着我们去发现。今天,就让我带你...
安卓系统好用的电池,好用到飞起... 你有没有发现,用安卓手机的时候,电池续航能力简直让人爱不释手啊!没错,今天咱们就来聊聊这个话题——安...