奈学教育 P8百万大数据架构师

01.spark调优

01 预习分布式计算应用执行机制.mp4

02数据倾斜发生的现象.mp4

03数据倾斜发生的原理.mp4

04数据倾斜的危害.mp4

05数据倾斜是如何造成的.mp4

06避免数据源倾斜HDFS.mp4

07避免数据倾斜-Kafka.mp4

08定位处理逻辑 – Stage 和 Task.mp4

09查看导致倾斜的key的数据分布情况.mp4

10经典面试题.mp4

11数据倾斜的解决方案01使用Hive ETL预处理数据.mp4

11数据倾斜的解决方案02 调整shuffle的并行度.mp4

11数据倾斜的解决方案03调整shuffle操作的并行度.mp4

11数据倾斜的解决方案04采样倾斜key并分拆join操作.mp4

11数据倾斜的解决方案05将reduce join 转为 map join.mp4

11数据倾斜的解决方案06两阶段闭合.mp4

11数据倾斜的解决方案07使用随机前缀和扩容RDD进行join.mp4

11数据倾斜的解决方案08任务横切.mp4

11数据倾斜的解决方案09多种方案组合使用.mp4

11数据倾斜的解决方案10自定义Partitioner.mp4

12开发调优04尽量避免使用Shuffle类算子.mp4

12开发调优05使用Map-Side预聚合的Shuffle操作.mp4

12开发调优06使用高性能的算子.mp4

12开发调优07广播大变量.mp4

12开发调优08使用Kryo优化序列化性能.mp4

12开发调优09优化数据结构+融化贯通.mp4

12开发调优1-3.mp4

02.Apache Pulsar 万亿级云原生的分布式消息平台

01. 新一代万亿级消息系统Pulsar的架构设计.mp4

02. 新一代万亿级消息系统Pulsar的核心设计.mp4

03. 新一代万亿级消息系统Pulsar的应用实践.mp4

03.直播课

《百万大数据架构师1期》01—《大数据架构总体设计与架构哲学本质》上.mp4

《百万大数据架构师1期》02—《大数据架构总体设计与架构哲学本质》下.mp4

《百万大数据架构师1期》03-《大数据架构总体设计与架构哲学本质》 下.mp4

《百万大数据架构师1期》04-《大数据基础平台架构设计与实践》.mp4

《百万大数据架构师1期》05-《大数据基础平台架构设计与实践》下.mp4

《百万大数据架构师1期》06-《大数据基础平台性能改造》.mp4

《百万大数据架构师1期》07-PB级基础平台管理与监控.mp4

《百万大数据架构师1期》08-万亿级云原生Docker容器云平台案例设计与实践.mp4

《百万大数据架构师1期》09—PB级大数据任务调度平台架构设计与实践.mp4

《百万大数据架构师1期》10-PB级大数据任务调度平台架构设计与实践（ 下）.mp4

《百万大数据架构师1期》11-百万架构师技术人生.mp4

《百万大数据架构师1期》12-离线全域技术仓库.mp4

《百万大数据架构师1期》13-大数据中台数据治理.mp4

《百万大数据架构师1期》14-数据湖架构设计与实践.mp4

《百万大数据架构师1期》15-百万架构师技术人生（2）.mp4

《百万大数据架构师1期》16-数据查询平台架构设计与实践.mp4

《百万大数据架构师1期》17-搜索&推荐基于大数据中台架构设计与实践.mp4

《百万大数据架构师1期》18-百万架构师技术人生(3).mp4

《百万大数据架构师1期》19-百万架构师技术人生（4）.mp4

《百万大数据架构师1期》20-新技术探索之千亿级消息引擎Pulsar.mp4

《百万大数据架构师1期》21-大数据DA层前台全局架构设计与实践（1）.mp4

《百万大数据架构师1期》22-DA层之自助BI与实时统计分析系统架构设计与实践（2）.mp4

《百万大数据架构师1期》23-DA层之大数据用户画像设计与实践（3）.mp4

《百万大数据架构师1期》24-大数据用户画像设计与实践 (下).mp4

《百万大数据架构师1期》25-百万大数据架构师技术成长与技术人生篇.mp4

《百万大数据架构师1期》26-大数据中台新技术探索篇之Doris.mp4

《百万大数据架构师》第一期开班典礼.mp4

04-补课-kafka图解源码

01-源码阅读准备之基础知识准备.mp4

02-源码阅读准备之源码环境准备.mp4

03-源码阅读准备之源码刨析思路介绍.mp4

04-源码阅读准备之从一个demo入手.mp4

05-生产者源码之producer核心流程介绍.mp4

06-生产者源码之producer初始化（1）.mp4

06-生产者源码之producer初始化（2）.mp4

07-生产者源码之producer端元数据管理（1）.mp4

07-生产者源码之producer端元数据管理（2）.mp4

08-生产者源码之producer源码核心流程初探（1）.mp4

08-生产者源码之producer源码核心流程初探（2）.mp4

09-生产者源码之producer加载元数据（1）.mp4

09-生产者源码之producer加载元数据（2）.mp4

09-生产者源码之producer加载元数据（3）.mp4

09-生产者源码之producer加载元数据（4）.mp4

10-生产者源码之分区选择.mp4

11-生产者源码之recordaccumulator封装消息流程初探（1）.mp4

11-生产者源码之recordaccumulator封装消息流程初探（2）.mp4

12-生产者源码之copyonwritemap数据结构使用.mp4

13-生产者源码之把数据写到对应批次（分段加锁）.mp4

14-生产者之内存池设计.mp4

15-生产者源码之sender线程运行流程初探.mp4

16-生产者源码之一个batch什么条件下可以发送？.mp4

17-生产者源码之筛选可以发送消息的broker(1).mp4

17-生产者源码之筛选可以发送消息的broker(2).mp4

18-生产者源码之kafka网络设计-错误更正（2）.mp4

18-生产者源码之kafka网络设计（1）.mp4

19-生产者源码之如果网络没有建立好会发送消息吗？.mp4

20-生产者源码之producer终于要与broker建立连接了！（1）.mp4

20-生产者源码之producer终于要与broker建立连接了！（2）.mp4

20-生产者源码之producer终于要与broker建立连接了！（3）.mp4

21-生产者源码之产生者终于可以发送网络请求了！！（1）.mp4

21-生产者源码之产生者终于可以发送网络请求了！！（2）.mp4

22-生产者源码之producer是如何处理粘包问题的（1）.mp4

22-生产者源码之producer是如何处理粘包问题的（2）.mp4

23-生产者源码之producer是如何处理拆包问题的.mp4

24-生产者源码之如何处理暂存状态的相应.mp4

25-生产者源码之如何处理响应消息.mp4

26-生产者源码之消息发送完了以后内存如何处理.mp4

27-生产者源码之消息有异常是如何处理的.mp4

28-生产者源码之如何处理超时的批次.mp4

29-生产者源码之如何处理长时间没有接受到响应的消息.mp4

30-生产者源码之生产者源码精华总结.mp4

31-服务端源码-网络-观察-kafka源码的包.mp4

32-服务端源码-网络-acceptor线程是如何启动的？.mp4

33-服务端源码-网络-processor线程是如何启动的？（1）.mp4

33-服务端源码-网络-processor线程是如何启动的？（3）.mp4

34-服务端源码-网络-processor是如何接收请求的（1）.mp4

34-服务端源码-网络-processor是如何接收请求的（2）.mp4

35-服务端源码-网络-processor线程是如何处理stagedreceives里的请.mp4

36-服务端源码-网络requestqueue里的请求是如何被处理的.mp4

37-服务端源码-网络-request是如何被处理的.mp4

38-服务端源码-网络-服务端给客户端发送响应做哪些准备工作（1）.mp4

38-服务端源码-网络-服务端给客户端发送响应做哪些准备工作（2）.mp4

39-服务端源码-网络-响应消息是如何发送给客户端的.mp4

40-服务端源码-网络-支持超过并发的kafka网络设计.mp4

41-服务端源码-存储-核心对象关系梳理.mp4

42-服务端源码-存储-replicamanager写数据流程.mp4

43-服务端源码-存储-logmanager是什么.mp4

44-服务端源码-存储-logmanager启动以后干什么.mp4

45-服务端源码-存储-log的append总流程窥探.mp4

46-服务端源码-存储-新建logsegment策略第二讲.mp4

47-服务端源码-存储-如何使用内存映射写稀松索引.mp4

48-服务端源码-存储-如何基于os cache写数据.mp4

49-服务端源码-存储-一条message的格式.mp4

50-服务端源码-存储-数据是如何flush的.mp4

51 服务端源码-存储-发送响应给客户端.mp4

52 服务端源码-副本同步-ReplicaFetcher线程启动.mp4

53 服务端源码-副本同步-Follower发起fetch请求.mp4

54 服务端源码-副本同步-Leader处理fetch请求.mp4

55 服务端源码-副本同步-leader和follower的leo，hw的更新流程第一讲.mp4

55 服务端源码-副本同步-leader和follower的leo，hw的更新流程第二讲.mp4

56 服务端源码-副本同步-ISR定时检查线程.mp4

57 服务端源码-副本同步-如果fetch不到数据怎么办.mp4

58-服务端源码-集群管理-Controller是如何选举出来的.mp4

59-服务端源码-集群管理-Broker是如何注册的.mp4

60-服务端源码-集群管理-如何感知新注册进来的Broker？.mp4

61 服务端源码-集群管理-创建一个Topic的流程.mp4

62 服务端源码-集群管理-元数据更新流程总结.mp4

63-消费者源码-coondinator原理刨析.mp4

64-消费者源码-consumer初始化.mp4

65-消费者源码-如何选举consumer leader.mp4

66-消费者源码-consumer leader-如何制定分区方案.mp4

67-消费者源码-coondinator下发分区方案.mp4

68-图解kafka源码-消费者源码-consumer消费数据.mp4

69-消费者源码-自动提交偏移量.mp4

70-消费者源码-consumer发送心跳.mp4

05.源码

document-master.zip