血缘和宽窄依赖
admin
2024-02-06 19:27:37
0次
血缘和宽窄依赖
1.血缘
比如RDD2基于RDD1。
rdd2=rdd1.flatmap（word=>word.split(" ")）
这就是rdd2 依赖rdd1.依赖是rdd之间的关系。某个rdd从数据源获取数据并不是依赖。
同时还存在间接依赖的情况，比如rdd3=rdd2.xxx。则rdd3间接依赖rdd1
需要注意的是，rdd不存储数据，如果rdd1没缓存，则rdd2调用时，rdd1需重新计算后给其调用。
多个连续的依赖关系称之为血缘。
2.宽窄依赖
假设rdd1有俩分区，rdd2也有俩分区。
窄依赖：
rdd1分区一有，a，b两条数据。分区上task跑完后，rdd2分区一也有a，b两条数据，这就是窄依赖
宽依赖：
rdd1分区1有a，b，分区2有c，d。 shuffle后，rdd2分区一有a，c。分区二有b。d
也就是说分区数没变，但是每个分区数据变了。同时新分区数据来自多个旧分区。
3.阶段任务
application：每初始话一个sparkcontext就生成一个application
job：一个action生成一个job
stage：stage是shuffle（宽依赖）数加1.同时通过shuffle来划分stage
task：一个stage阶段中，最后一个rdd的分区数就是task个数。
app ->job->stage->task
每一层都是一对N的关系。
相关内容
热门资讯
我来教大家“掼蛋大师辅助器ap...
亲，掼蛋大师这款游戏可以开挂的，确实是有挂的，。但是开挂要下载第三方辅助软件，掼蛋大师的开挂软件，名...
我来教大家“开心联盟辅助器ap...
您好，开心联盟这款游戏可以开挂的，确实是有挂的，需要了解加微{7198902}很多玩家在这款游戏中打...
我来教大家“友愉棋牌辅助器ap...
您好，友愉棋牌这款游戏可以开挂的，确实是有挂的，需要了解加微{7198902}很多玩家在这款游戏中打...
我来教大家“全盛棋牌辅助器ap...
亲，全盛棋牌这款游戏可以开挂的，确实是有挂的，。但是开挂要下载第三方辅助软件，全盛棋牌的开挂软件，名...
我来教大家“情怀三三麻将辅助器...
我来教大家“情怀三三麻将辅助器app官方下载最新版本更新”详细分享开挂一、情怀三三麻将AI软件牌型概...
我来教大家“无锡好运麻将辅助器...
亲，无锡好运麻将这款游戏可以开挂的，确实是有挂的，。但是开挂要下载第三方辅助软件，无锡好运麻将的开挂...
我来教大家“推筒子辅助器app...
您好，推筒子这款游戏可以开挂的，确实是有挂的，需要了解加微{7198902}很多玩家在这款游戏中打牌...
我来教大家“比奇堡辅助器app...
我来教大家“比奇堡辅助器app官方下载最新版本更新”详细分享开挂1、让任何用户在无需AI插件第三方神...
我来教大家“新兴茶苑辅助器ap...
我来教大家“新兴茶苑辅助器app官方下载最新版本更新”详细分享开挂1、让任何用户在无需AI插件第三方...
我来教大家“欢乐互动辅助器ap...
我来教大家“欢乐互动辅助器app官方下载最新版本更新”详细分享开挂1、让任何用户在无需AI插件第三方...
我来教大家“东方互娱辅助器ap...
亲，东方互娱这款游戏可以开挂的，确实是有挂的，。但是开挂要下载第三方辅助软件，东方互娱的开挂软件，名...
我来教大家“天天乐清麻将辅助器...
我来教大家“天天乐清麻将辅助器app官方下载最新版本更新”详细分享开挂一、天天乐清麻将AI软件牌型概...
我来教大家“唐三彩辅助器app...
我来教大家“唐三彩辅助器app官方下载最新版本更新”详细分享开挂一、唐三彩AI软件牌型概率发牌机制”...
我来教大家“Y0辅助器app官...
我来教大家“Y0辅助器app官方下载最新版本更新”详细分享开挂一、Y0AI软件牌型概率发牌机制”必胜...
我来教大家“天天互娱辅助器ap...
亲，天天互娱这款游戏可以开挂的，确实是有挂的，。但是开挂要下载第三方辅助软件，天天互娱的开挂软件，名...
我来教大家“悟空竞技麻将辅助器...
亲，悟空竞技麻将这款游戏可以开挂的，确实是有挂的，。但是开挂要下载第三方辅助软件，悟空竞技麻将的开挂...
我来教大家“情怀开化麻将辅助器...
我来教大家“情怀开化麻将辅助器app官方下载最新版本更新”详细分享开挂一、情怀开化麻将AI软件牌型概...
我来教大家“龙炎互娱辅助器ap...
我来教大家“龙炎互娱辅助器app官方下载最新版本更新”详细分享开挂一、龙炎互娱AI软件牌型概率发牌机...
我来教大家“闲逸碰胡辅助器ap...
亲，闲逸碰胡这款游戏可以开挂的，确实是有挂的，。但是开挂要下载第三方辅助软件，闲逸碰胡的开挂软件，名...
我来教大家“友聚麻将辅助器ap...
我来教大家“友聚麻将辅助器app官方下载最新版本更新”详细分享开挂一、友聚麻将AI软件牌型概率发牌机...