Skip to content
/ UpData Public

🎯 大数据这一块经常会把看到的知识点给忘掉,主要是为了自己方便学习+面试的记录点。(86上山,奔驰上数

Notifications You must be signed in to change notification settings

icrn/UpData

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

3 Commits
 
 

Repository files navigation

flink

  • flink的架构是怎么样的?jobmanager和taskmanger分别干什么?
  • flink提交任务的过程是怎么用的?
  • flink如何实现exactly-once语义的
  • flink如何去解决反压的?
  • 线上如何监控反压?
  • flink的checkpoint如何去实现的,checkpoint的流程是怎么样的
  • flink的数据倾斜怎么去解决
  • flink sql怎么去处理
  • flink怎么去执行迭代计算的

hdfs

  • hdfs的架构,datanode和namenode
  • 怎么写和读取数据的

spark

  • 什么是rdd?有什么缺陷
  • spark运行过程是什么样的
  • 什么是宽窄依赖
  • 数据倾斜怎么去解决
  • spark reduceBykey 和 groupbyKey有什么区别?cogroup
  • DAG是什么?如何划分的?stage划分的算法是什么
  • spark OOM问题怎么去解决
  • spark数据管理的位置是什么?blockmanager
  • spark执行的时候会有很多个task,怎么去管理的
  • spark join优化的经验
  • spark的shuffle和mr有什么区别

About

🎯 大数据这一块经常会把看到的知识点给忘掉,主要是为了自己方便学习+面试的记录点。(86上山,奔驰上数

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published