大数据周会-本周学习内容总结05
创始人
2024-06-02 00:24:50
0次

目录

00【陈师兄字节大厂经验分享】

01【MySQL数据同步ES】

1.1【Linux MySQL数据库数据同步Windows ES】

1.1.1【自动创建分片数为0的索引】

1.1.2【数据导入时间过长】

1.2【数据同步,增删改】

1.3【遇到的细节问题】

1.3.1【logstash配置文件,索引名必须小写】

1.4【Linux搭建es】

02【调研】

2.1【Mysql-ES 全量—增量更新机制并实现】

2.2【数据检索(也叫超市或中台)】


00【陈师兄字节大厂经验分享】

大数据
书:《大数据之路》阿里巴巴

大数据,计算和存储,分别用什么!

一致性模型和一致性协议

数据同步:dts canal datax sqoop

数据倾斜方面数据优化

拍照存储计算选型
存储 纠删码

省钱 减少数据资源

监控binlog日志,标计es,es增加一列,查询的时候根据列显示数据!
canal   logstash   并发流读取删除

计算:spark  sparkstreaming  flink  kafka
flume scpoop监听日志文件夹

rabbitmq保证数据一致性,kafka会丢失数据

数据调度,面经,肯定要问!

01【MySQL数据同步ES】

1.1【Linux MySQL数据库数据同步Windows ES】

步骤

  1. MySQL数据库Jar包
  2. xxx.conf配置文件,配置MySQL数据库信息与ES信息
  3. logstash -f ../config/gaokao/mysql03.conf
input {stdin {}jdbc { # 01# 配置MySQL数据库链接,变量为数据库名jdbc_connection_string => "jdbc:mysql://x.x.x.x:3306/recommend_form"# 配置MySQL数据库用户名和密码jdbc_user => "root"jdbc_password => "hadoop"# MySQL驱动jar包存放位置jdbc_driver_library => "D:\\elk\\logstash\\logstash-7.1.1\\jar\\mysql-connector-java-5.1.31.jar"# MySQL驱动类名jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"# 执行的sql,文件路径+名称:statement_filepath# statement_filepath => ""# 要执行的sql语句statement => "select * from course_match_requirementcode"# 设置监听间隔,各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新schedule => "* * * * *"# 索引类型type => "course_match_requirementcode"}jdbc { # 02# 配置MySQL数据库链接,变量为数据库名jdbc_connection_string => "jdbc:mysql://x.x.x.x:3306/recommend_form"# 配置MySQL数据库用户名和密码jdbc_user => "root"jdbc_password => "hadoop"# MySQL驱动jar包存放位置jdbc_driver_library => "D:\\elk\\logstash\\logstash-7.1.1\\jar\\mysql-connector-java-5.1.31.jar"# MySQL驱动类名jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"# 执行的sql,文件路径+名称:statement_filepath# statement_filepath => ""# 要执行的sql语句statement => "select * from enroll_plan_finally"# 设置监听间隔,各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新schedule => "* * * * *"# 索引类型type => "enroll_plan_finally"}jdbc { # 03# 配置MySQL数据库链接,变量为数据库名jdbc_connection_string => "jdbc:mysql://x.x.x.x:3306/recommend_form"# 配置MySQL数据库用户名和密码jdbc_user => "root"jdbc_password => "hadoop"# MySQL驱动jar包存放位置jdbc_driver_library => "D:\\elk\\logstash\\logstash-7.1.1\\jar\\mysql-connector-java-5.1.31.jar"# MySQL驱动类名jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"# 执行的sql,文件路径+名称:statement_filepath# statement_filepath => ""# 要执行的sql语句statement => "select * from epp"# 设置监听间隔,各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新schedule => "* * * * *"# 索引类型type => "epp"}jdbc { # 04# 配置MySQL数据库链接,变量为数据库名jdbc_connection_string => "jdbc:mysql://x.x.x.x:3306/recommend_form"# 配置MySQL数据库用户名和密码jdbc_user => "root"jdbc_password => "hadoop"# MySQL驱动jar包存放位置jdbc_driver_library => "D:\\elk\\logstash\\logstash-7.1.1\\jar\\mysql-connector-java-5.1.31.jar"# MySQL驱动类名jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"# 执行的sql,文件路径+名称:statement_filepath# statement_filepath => ""# 要执行的sql语句statement => "select * from id_2022_2021"# 设置监听间隔,各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新schedule => "* * * * *"# 索引类型type => "id_2022_2021"}jdbc { # 05# 配置MySQL数据库链接,变量为数据库名jdbc_connection_string => "jdbc:mysql://x.x.x.x:3306/recommend_form"# 配置MySQL数据库用户名和密码jdbc_user => "root"jdbc_password => "hadoop"# MySQL驱动jar包存放位置jdbc_driver_library => "D:\\elk\\logstash\\logstash-7.1.1\\jar\\mysql-connector-java-5.1.31.jar"# MySQL驱动类名jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"# 执行的sql,文件路径+名称:statement_filepath# statement_filepath => ""# 要执行的sql语句statement => "select * from major_22_21"# 设置监听间隔,各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新schedule => "* * * * *"# 索引类型type => "major_22_21"}jdbc { # 06# 配置MySQL数据库链接,变量为数据库名jdbc_connection_string => "jdbc:mysql://x.x.x.x:3306/recommend_form"# 配置MySQL数据库用户名和密码jdbc_user => "root"jdbc_password => "hadoop"# MySQL驱动jar包存放位置jdbc_driver_library => "D:\\elk\\logstash\\logstash-7.1.1\\jar\\mysql-connector-java-5.1.31.jar"# MySQL驱动类名jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"# 执行的sql,文件路径+名称:statement_filepath# statement_filepath => ""# 要执行的sql语句statement => "select * from major_info_category"# 设置监听间隔,各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新schedule => "* * * * *"# 索引类型type => "major_info_category"}jdbc { # 07# 配置MySQL数据库链接,变量为数据库名jdbc_connection_string => "jdbc:mysql://x.x.x.x:3306/recommend_form"# 配置MySQL数据库用户名和密码jdbc_user => "root"jdbc_password => "hadoop"# MySQL驱动jar包存放位置jdbc_driver_library => "D:\\elk\\logstash\\logstash-7.1.1\\jar\\mysql-connector-java-5.1.31.jar"# MySQL驱动类名jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"# 执行的sql,文件路径+名称:statement_filepath# statement_filepath => ""# 要执行的sql语句statement => "select * from major_name_hot_cold"# 设置监听间隔,各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新schedule => "* * * * *"# 索引类型type => "major_name_hot_cold"}jdbc { # 08# 配置MySQL数据库链接,变量为数据库名jdbc_connection_string => "jdbc:mysql://x.x.x.x:3306/recommend_form"# 配置MySQL数据库用户名和密码jdbc_user => "root"jdbc_password => "hadoop"# MySQL驱动jar包存放位置jdbc_driver_library => "D:\\elk\\logstash\\logstash-7.1.1\\jar\\mysql-connector-java-5.1.31.jar"# MySQL驱动类名jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"# 执行的sql,文件路径+名称:statement_filepath# statement_filepath => ""# 要执行的sql语句statement => "select * from major_score"# 设置监听间隔,各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新schedule => "* * * * *"# 索引类型type => "major_score"}jdbc { # 09# 配置MySQL数据库链接,变量为数据库名jdbc_connection_string => "jdbc:mysql://x.x.x.x:3306/recommend_form"# 配置MySQL数据库用户名和密码jdbc_user => "root"jdbc_password => "hadoop"# MySQL驱动jar包存放位置jdbc_driver_library => "D:\\elk\\logstash\\logstash-7.1.1\\jar\\mysql-connector-java-5.1.31.jar"# MySQL驱动类名jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"# 执行的sql,文件路径+名称:statement_filepath# statement_filepath => ""# 要执行的sql语句statement => "select * from recommend_form"# 设置监听间隔,各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新schedule => "* * * * *"# 索引类型type => "recommend_form"}jdbc { # 10# 配置MySQL数据库链接,变量为数据库名jdbc_connection_string => "jdbc:mysql://x.x.x.x:3306/recommend_form"# 配置MySQL数据库用户名和密码jdbc_user => "root"jdbc_password => "hadoop"# MySQL驱动jar包存放位置jdbc_driver_library => "D:\\elk\\logstash\\logstash-7.1.1\\jar\\mysql-connector-java-5.1.31.jar"# MySQL驱动类名jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"# 执行的sql,文件路径+名称:statement_filepath# statement_filepath => ""# 要执行的sql语句statement => "select * from recommend_form_2021"# 设置监听间隔,各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新schedule => "* * * * *"# 索引类型type => "recommend_form_2021"}jdbc { # 11# 配置MySQL数据库链接,变量为数据库名jdbc_connection_string => "jdbc:mysql://x.x.x.x:3306/recommend_form"# 配置MySQL数据库用户名和密码jdbc_user => "root"jdbc_password => "hadoop"# MySQL驱动jar包存放位置jdbc_driver_library => "D:\\elk\\logstash\\logstash-7.1.1\\jar\\mysql-connector-java-5.1.31.jar"# MySQL驱动类名jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"# 执行的sql,文件路径+名称:statement_filepath# statement_filepath => ""# 要执行的sql语句statement => "select * from requirement_code"# 设置监听间隔,各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新schedule => "* * * * *"# 索引类型type => "requirement_code"}jdbc { # 12# 配置MySQL数据库链接,变量为数据库名jdbc_connection_string => "jdbc:mysql://x.x.x.x:3306/recommend_form"# 配置MySQL数据库用户名和密码jdbc_user => "root"jdbc_password => "hadoop"# MySQL驱动jar包存放位置jdbc_driver_library => "D:\\elk\\logstash\\logstash-7.1.1\\jar\\mysql-connector-java-5.1.31.jar"# MySQL驱动类名jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"# 执行的sql,文件路径+名称:statement_filepath# statement_filepath => ""# 要执行的sql语句statement => "select * from school_info"# 设置监听间隔,各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新schedule => "* * * * *"# 索引类型type => "school_info"}jdbc { # 13# 配置MySQL数据库链接,变量为数据库名jdbc_connection_string => "jdbc:mysql://x.x.x.x:3306/recommend_form"# 配置MySQL数据库用户名和密码jdbc_user => "root"jdbc_password => "hadoop"# MySQL驱动jar包存放位置jdbc_driver_library => "D:\\elk\\logstash\\logstash-7.1.1\\jar\\mysql-connector-java-5.1.31.jar"# MySQL驱动类名jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"# 执行的sql,文件路径+名称:statement_filepath# statement_filepath => ""# 要执行的sql语句statement => "select * from sectionscore"# 设置监听间隔,各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新schedule => "* * * * *"# 索引类型type => "sectionscore"}
}filter {json {source => "message"remove_field => ["message"]}
}output {if[type] == "course_match_requirementcode" { # 01elasticsearch {hosts => ["127.0.0.1:9200"]index => "gaokao_test_course_match_requirementcode"document_id => "%{id}"}}if[type] == "enroll_plan_finally" { # 02elasticsearch {hosts => ["127.0.0.1:9200"]index => "gaokao_test_enroll_plan_finally"document_id => "%{id}"}}if[type] == "epp" { # 03elasticsearch {hosts => ["127.0.0.1:9200"]index => "gaokao_test_epp"document_id => "%{id}"}}if[type] == "id_2022_2021" { # 04elasticsearch {hosts => ["127.0.0.1:9200"]index => "gaokao_test_id_2022_2021"document_id => "%{id}"}}if[type] == "major_22_21" { # 05elasticsearch {hosts => ["127.0.0.1:9200"]index => "gaokao_test_major_22_21"document_id => "%{id}"}}if[type] == "major_info_category" { # 06elasticsearch {hosts => ["127.0.0.1:9200"]index => "gaokao_test_major_info_category"document_id => "%{id}"}}if[type] == "major_name_hot_cold" { # 07elasticsearch {hosts => ["127.0.0.1:9200"]index => "gaokao_test_major_name_hot_cold"document_id => "%{id}"}}if[type] == "major_score" { # 08elasticsearch {hosts => ["127.0.0.1:9200"]index => "gaokao_test_major_score"document_id => "%{id}"}}if[type] == "recommend_form" { # 09elasticsearch {hosts => ["127.0.0.1:9200"]index => "gaokao_test_recommend_form"document_id => "%{id}"}}if[type] == "recommend_form_2021" { # 10elasticsearch {hosts => ["127.0.0.1:9200"]index => "gaokao_test_recommend_form_2021"document_id => "%{id}"}}if[type] == "requirement_code" { # 11elasticsearch {hosts => ["127.0.0.1:9200"]index => "gaokao_test_requirement_code"document_id => "%{id}"}}if[type] == "school_info" { # 12elasticsearch {hosts => ["127.0.0.1:9200"]index => "gaokao_test_school_info"document_id => "%{id}"}}if[type] == "sectionscore" { # 13elasticsearch {hosts => ["127.0.0.1:9200"]index => "gaokao_test_section_score"document_id => "%{id}"}}stdout {codec => json_lines}
}

1.1.1【自动创建分片数为0的索引】

es中若未创建索引,则Logstash会根据配置文件xxx.conf中的信息自动创建索引:

查询数据,enroll_plan_finally数据库,在数据浏览页面数据字段展示不完全。

进行基本查询,可以查到单条数据的所有字段。

1.1.2【数据导入时间过长】

1.2【数据同步,增删改】

修改

1.3【遇到的细节问题】

1.3.1【logstash配置文件,索引名必须小写】

1.4【Linux搭建es】

 

02【调研】

2.1【Mysql-ES 全量—增量更新机制并实现】

ELK 是目前业界使用最广泛的日志数据处理平台。

调研文档:

  1. logstash jdbc全量更新与增量更新_我在北国不背锅的博客-CSDN博客,时间戳、唯一主键id
  2. centos7配置Logstash同步Mysql数据到Elasticsearch - JavaClub全栈架构师技术笔记

第一次同步时需要全量的数据,之后则需要定时去同步增量数据。1、根据唯一主键,2、根据时间戳。

2.2【数据检索(也叫超市或中台)】

数据检索

  1. 概念:数据检索即把数据库中存储的数据根据用户的需求提取出来。数据检索的结果会生成一个数据表,既可以放回数据库,也可以作为进一步处理的对象。
  2. 工作流程:先排序再筛选。
  3. 检索方法:顺序检索、对分检索、索引检索。

数据中台是对既有/新建信息化系统业务与数据的沉淀,是实现数据赋能新业务、新应用的中间、支撑性平台。

各种信息系统大多是独立建设的,无法做到信息的互联互通,导致形成了多个数据孤岛。数据中台的作用是融合新老信息,整合各个孤岛上的信息,快速形成数据服务能力,为企业经营决策、精细化运营提供支持。

数据中台详解:数据中台详解

数据中台解决方案:数据中台解决方案-最新全套文件_数据中台 技术方案

相关内容

热门资讯

存储芯片巨头的好日子何时结束 ... 摩根士丹利最新报告指出,旧存储芯片行业的前景被低估。曾经因供需失衡而获得高额利润的旧存储芯片现在正处...
国足开场2分钟落后 邵佳一眉头... 点击加载图片直播吧11月17日讯 国足开场2分钟丢球,0-1落后巴林,镜头给到眉头紧锁的邵佳一。国字...
小米:相关内容纯属虚构,警惕虚... 小米旗下微博账号“小米辟谣”于11月17日发布声明,指出近期有不法分子冒充“小米汽车”发送诈骗短信,...
最差密码榜单公布 123456... 网络安全公司 NordPass 发布了《2026 年最常用密码 Top 200》报告,指出“1234...
2岁孩子生命最后11天依然努力... 25岁的妈妈将患有罕见病的儿子兜兜送进了长沙的“雏菊之家”安宁病房。她陪伴儿子度过了最后11天,并每...
13岁少年被控杀害5岁男童案 ... 一名13岁少年因妹妹被邻居5岁男童撒沙而心生怨恨,将男童带至桥上推下水致其溺亡。此案引起了媒体的广泛...
全球顶尖科学家加速回流中国 风... 全球顶尖科学家纷纷选择离开美国,转向中国任职。2026年初,莱斯大学90后斯隆奖得主汪淏田全职加盟同...
APEC工商领导人峰会今天聚焦... 11月17日,来自亚太经合组织21个经济体及英国、法国、德国、瑞士等13个域外经济体的2000多位政...
雷军APEC发言 具身智能潜力... 11月17日,小米CEO雷军在2026年APEC工商领导人峰会上表示,具身智能机器人的潜力超过汽车,...
俄罗斯记者惊呼在深圳谁还用现金... 11月17日,今日俄罗斯国际通讯社记者德米特里·加夫里洛夫在接受采访时分享了他的深圳体验。他提到,刚...
雷军:智能机器人产业潜力超汽车... 11月17日,在2026年亚太经合组织工商领导人峰会上,小米CEO雷军介绍了公司在AI、智能制造和机...
保研举报成风,这不只是“坏人变... 保研举报成风,这不只是“坏人变小了” 制度留操作空间。高校保研季举报成风:这不是学生坏,是制度留了太...
广东01年医护女孩为00年闺蜜... 据河南广播电视台小莉帮忙,广东一位01年的女孩,亲自为自己00年的闺蜜接生。她们的缘分有多深?女孩称...
广东网友为迎接APEC会议周有... 11月14日,2026年APEC领导人会议周新闻中心举办了广东省、深圳市专场中外媒体吹风会。这是20...
动车插座在头顶被吐槽像在打吊瓶... 近日,有网友在社交平台发帖分享自己的乘车经历:乘坐D2928次动车组时,发现车厢内的充电插座安装在顶...
万斯称与特朗普无分歧 一致反对... JD·万斯周一表示,他与总统唐纳德·特朗普在伊朗战争问题上完全一致。此前,他曾将共和党在中期选举中的...
痛风人群这4种饮品要少喝 咖啡... 很多尿酸高、痛风人群都知道啤酒、果汁会升高尿酸,那么有没有什么饮料对尿酸“很友好”,甚至还能降低痛风...
医生辟谣左侧睡根本不伤心:正常... 11月17日,经常朝左睡对心脏的影响引发关注。从解剖学角度看,心脏虽然位于胸腔偏左,但它并非孤零零地...
96岁奶奶扒着车窗含泪送孙女返... 近日,湖南,假期快要结束,孙女准备返程。96岁的奶奶扒着车窗,眼里满是不舍。一句有空常回家看看,戳中...
人民日报:从《持械入宋》火爆看... 有能够让行业内外普遍认可的作品出现,是一种新文艺类型成熟的重要标志。正是因为“家里家外”系列、《盛夏...