用一个例子告诉你 怎样在spark中创建广播变量
创始人
2024-06-03 01:24:19
0

目录

1.什么是广播变量(Broadcast Variables)

2.使用广播变量 

3.重点关注


1.什么是广播变量(Broadcast Variables)

广播变量是Spark提供的一个共享变量(Shared Variables),允许同一个Executor中的多个Task读取同一份数据
    默认情况下,如果Executor节点上使用到了Driver端定义的变量(通过算子传递)
    算子会将该变量的副本发送的每个Task任务,反序列化后存储在Task节点内存中
    但是Spark为我们提供了一个共享变量,允许Driver端和Task之间共享一个变量
    降低通信成本和内存成本


2.使用广播变量 

  test("对吧 广播变量和join算子") {// 初始化 spark配置实例val sparkconf: SparkConf = new SparkConf().setMaster("local[4]").setAppName("")// 初始化 spark环境对象val sc: SparkContext = new SparkContext(sparkconf)var list: List[(Int, Int)] = List((1, 21), (2, 23), (3, 30), (4, 35))val rdd: RDD[(Int, String)] = sc.parallelize(List((1, "张飞"), (2, "赵云"), (3, "关羽"), (4, "奉先"), (5, "子路")))/** 使用spark的join算子** */val joinResult = rdd.join(sc.parallelize(list))joinResult.foreach(println(_))println("------------------------------------")/** 使用广播变量* */// TODO 1. 在Driver端声明广播变量val bc: Broadcast[Map[Int, Int]] = sc.broadcast(list.toMap)val bcResult: RDD[(Int, (String, Any))] = rdd.map(e => {// TODO 2. 在Task中读取广播变量val map: Map[Int, Int] = bc.value(e._1, (e._2, bc.value.getOrElse(e._1, null)))}).filter(_._2._2 != null)bcResult.foreach(println(_))while (true) {}sc.stop()}


3.重点关注 

1.广播变量是怎样 提升计算效率?
      减少了数据分发的次数,降低通信成本
      避免了Task节点反序列化变量副本,降低了内存成本
2.使用场景
     关联静态维表
     过滤黑名单、白名单
     join

传送门1: 传送门

传送门2:  传送门2

相关内容

热门资讯

安卓系统查看所有应用,全面解析... 你有没有想过,你的安卓手机里藏着多少秘密?那些你经常用的、偶尔用的,甚至是忘了用的应用,它们都藏在手...
原生安卓7.0系统评测,性能与... 亲爱的读者们,你是否对手机系统有着浓厚的兴趣?是否好奇过原生安卓7.0系统究竟有何魅力?今天,就让我...
宝马改安卓系统好吗,体验新境界 你有没有想过,把你的宝马车改个安卓系统,是不是就像给手机换了个新皮肤,瞬间感觉不一样了呢?今天,我们...
安卓系统手机单机游戏,安卓手机... 你有没有发现,最近你的安卓系统手机里是不是又多了一款单机游戏?没错,单机游戏在安卓系统手机上可是越来...
现在安卓系统会卡么,探究原因与... 你有没有发现,现在用安卓手机的时候,有时候会突然感觉有点卡呢?是不是你也遇到了这种情况,心里直犯嘀咕...
苹果颜值安卓系统,探索跨界融合... 你有没有发现,现在手机市场上有两种截然不同的风格在较量呢?一边是苹果,那可是时尚界的宠儿,颜值爆表;...
适合htpc的安卓系统,精选适... 你有没有想过,家里的电视盒子或者电脑,要是能装上安卓系统,那得多方便啊!想象你可以在上面玩各种游戏,...
安卓如何检测系统广播,Andr... 你有没有想过,你的安卓手机里那些神奇的“广播”是怎么工作的呢?没错,就是那些悄无声息地在你手机后台运...
安卓系统怎么刷recovery... 你有没有想过,你的安卓手机突然间变得有点儿不听话了?别急,别急,我来告诉你怎么刷recovery,让...
不用安卓和苹果系统,多元化移动... 你有没有想过,在这个科技飞速发展的时代,我们竟然可以不用安卓和苹果系统,也能畅游网络世界呢?没错,今...
安卓系统忘记网络设置,安卓系统... 亲爱的安卓用户们,你是否曾经遇到过这样的烦恼:手机连接网络时,突然忘记了网络设置,各种网络连接问题层...
安卓系统无法自己升级,自主升级... 你是不是也遇到了这个问题?安卓系统怎么就突然不升级了呢?别急,今天就来给你好好捋一捋这个让人头疼的小...
华为变成原生安卓系统,原生安卓... 你知道吗?最近科技圈可是炸开了锅,华为的大动作让所有人都瞪大了眼睛。没错,就是那个我们熟悉的华为,竟...
安卓系统手机很便宜,高性价比的... 你有没有发现,最近逛手机市场,安卓系统手机的价格真是让人惊喜不已呢!没错,就是那种我们平时用的最多的...
原生的安卓系统 索尼,深度解析... 你知道吗?在智能手机的世界里,有一个品牌总是以其独特的魅力和精湛的工艺吸引着众多科技爱好者。那就是索...
安卓系统更新历史,从初代到最新... 你有没有发现,你的安卓手机每次更新后都变得焕然一新?没错,这就是安卓系统更新带来的魔力!今天,就让我...
安卓系统的第二套系统,创新与变... 你知道吗?在科技飞速发展的今天,安卓系统已经成为了智能手机市场上的霸主。但是,你知道吗?安卓系统其实...
全军出击安卓系统版本,战力再攀... 你有没有发现,最近全军出击这款游戏在安卓系统上的版本更新可是越来越频繁了呢?这不,我就来给你好好扒一...
安卓系统热点限速软件,优化热点... 你有没有遇到过这种情况:手机连接热点后,网速就像蜗牛爬行一样慢,简直让人抓狂!别急,今天就来给你揭秘...
安卓系统占内存多,揭秘内存消耗... 你有没有发现,手机用着用着,内存就不够用了?尤其是安卓系统,好像特别能吃内存,让人头疼不已。今天,就...