Skip to content

Latest commit

 

History

History
34 lines (25 loc) · 973 Bytes

README.md

File metadata and controls

34 lines (25 loc) · 973 Bytes

flink

  • flink的架构是怎么样的?jobmanager和taskmanger分别干什么?
  • flink提交任务的过程是怎么用的?
  • flink如何实现exactly-once语义的
  • flink如何去解决反压的?
  • 线上如何监控反压?
  • flink的checkpoint如何去实现的,checkpoint的流程是怎么样的
  • flink的数据倾斜怎么去解决
  • flink sql怎么去处理
  • flink怎么去执行迭代计算的

hdfs

  • hdfs的架构,datanode和namenode
  • 怎么写和读取数据的

spark

  • 什么是rdd?有什么缺陷
  • spark运行过程是什么样的
  • 什么是宽窄依赖
  • 数据倾斜怎么去解决
  • spark reduceBykey 和 groupbyKey有什么区别?cogroup
  • DAG是什么?如何划分的?stage划分的算法是什么
  • spark OOM问题怎么去解决
  • spark数据管理的位置是什么?blockmanager
  • spark执行的时候会有很多个task,怎么去管理的
  • spark join优化的经验
  • spark的shuffle和mr有什么区别