尚硅谷 大数据项目实战提升大神班
内容简介
本项目参考美团、OPPO、知乎等大数据实时数仓项目架构，采用当前主流的实时数据处理框架Flink进行搭建，对接多种数据源，并实现了对结果数据的实时展示，与离线数仓可以无缝对接，真正实现了流批一体，可以无缝满足企业实时数据处理需求。本项目主要讲解大数据技术中的数据采集技术，作为大数据的源头活水，教你从头搭建高并发、高可靠、可扩展的海量日志采集系统，供离线和在线数据分析系统使用。
针对多种多样、数据量大、变化快的数据源搭建数据采集系统，就如何保证数据采集的可靠性的性能、如何避免重复数据、保证实现atleast-once消费语义、如何保证数据的质量等问题，基于企业实战经验，给出最优解决方案。新增全新数据埋点系统，与Java电商项目零距离对接；全面扩充业务数据表到34张，大大丰富数仓建模体系；增加新访客识别解决方案，后续指标统计更加标准化。增加阿里云服务器讲解，提供与真实生产环境无缝对接方案。
资源目录
——/计算机教程/04尚硅谷/018-大数据项目实战提升大神班/就业答疑/就业答疑/
就业答疑第1次
| 深圳0830就业答疑第1次.mp4 421.85M
| 深圳190830就业答疑第1次.txt 5.47kb
——/计算机教程/04尚硅谷/018-大数据项目实战提升大神班/502_尚硅谷大数据之Spark/502_尚硅谷大数据之Spark/视频/
spark_Day11_上午
01_通讯架构的回顾.mp4 83.39M
02_master的启动流程.mp4 76.42M
03_rpc的工作机制.mp4 45.67M
04_worker的启动流程.mp4 86.47M
05_woker启动流程2.mp4 51.07M
06_yarn-cluster提交流程框图.mp4 46.85M
spark_Day11_下午
07_spark_submit进程.mp4 235.12M
08_client的源码1.mp4 104.44M
09_spark_submit进程结束.mp4 64.57M
10_am启动流程1.mp4 83.70M
11_am启动流程结束.mp4 115.50M
12_yarn-cluster的提交流程结束.mp4 214.10M
13_yarn-client提交框图.mp4 64.86M
spark_Day12_上午
01_昨日内容回顾.mp4 61.08M
02_client模式启动源码1.mp4 234.36M
03_封装指令去启动 ExecutorLauncher.mp4 37.50M
04_yarn-client模式提交流程的结束.mp4 51.08M
05_standalone模式运行机制.mp4 35.23M
06_stage级别调度.mp4 56.89M
07_dag级别的调度.mp4 47.37M
08_task调度.mp4 76.82M
spark_Day12_下午
09_task调度算法.mp4 129.42M
10_hashShuffle.mp4 173.57M
11_hashShuffle2.mp4 17.35M
12_sortshuffle原理.mp4 60.76M
13_bypasssortshuffle原理.mp4 37.52M
14_静态内存管理.mp4 97.19M
15_统一内存管理.mp4 45.06M
16_内存管理结束.mp4 17.51M
17_最优资源配置.mp4 119.56M
18_RDD优化.mp4 27.47M
19_调节本地化等待时间.mp4 84.95M
20_算子调优.mp4 85.18M
21_shuffle调优.mp4 45.49M
22_jvm调优.mp4 37.61M
复习_上午
01_scala复习要点.mp4 17.59M
02_基础知识的复习.mp4 58.26M
03_基础知识复习2.mp4 36.81M
04_基础知识复习3.mp4 47.94M
05_函数式的复习1.mp4 158.05M
06_名调用和值调用.mp4 62.76M
07_面向对象复习.mp4 94.43M
08_面向对象复习2.mp4 73.84M
09_高阶函数.mp4 69.96M
10_隐式转换.mp4 92.03M
11_模式匹配中的变量和常量.mp4 60.50M
复习_下午
12_模式匹配复习2.mp4 223.66M
13_classTag.mp4 60.42M
14_逆变和协变.mp4 64.87M
15_sparkCore的复习.mp4 136.62M
16_spark_sql复习.mp4 83.33M
17_spark_steaming的复习.mp4 69.48M
18_内核复习.mp4 55.28M
——/计算机教程/04尚硅谷/018-大数据项目实战提升大神班/503_尚硅谷大数据之实时项目/视频/
PART1
实时_Day01_上午
实时_Day01_下午
正则表达式.mp4 482.18M
PART2
实时_Day02_上午
实时_Day02_下午
实时_Day03_上午
实时_Day03_下午
实时_Day04_上午
PART3
实时_Day04_下午1
实时_Day04_下午2
实时_Day05_上午
实时_Day05_下午1
实时_Day05_下午2
PART4
实时_Day06_上午
实时_Day06_下午
实时_Day07_上午
实时_Day07_下午
——/计算机教程/04尚硅谷/018-大数据项目实战提升大神班/701_在线教育实战项目/4.视频/CDH/
CDH
1.CDH概述与架构讲解.mp4 117.07M
10.hive的安装与启动.mp4 31.75M
11.oozie简介与安装.mp4 59.56M
12.hue的安装与启动.mp4 69.90M
13.hue的使用介绍.mp4 76.63M
14.impala安装与使用.mp4 63.66M
15.Spark2的安装.mp4 59.18M
16.其他参数修改.mp4 59.97M
17.cdh关闭集群&阿里云关机不收费&释放.mp4 32.21M
2.阿里云购买与安全组配置.mp4 103.50M
3.CM安装部署准备.mp4 99.06M
4.离线安装CM.mp4 131.83M
5.CM启动与访问.mp4 138.15M
6.使用CM离线安装CDH.mp4 84.90M
7.hadoop安装与配置.mp4 149.98M
8.flume的安装.mp4 17.81M
9.kafka的安装.mp4 131.37M
——/计算机教程/04尚硅谷/018-大数据项目实战提升大神班/701_在线教育实战项目/4.视频/在线教育项目/
离线
day1_1阿里云&CDH集群启动.mp4 52.52M
day1_2.项目需求与架构分析.mp4 247.44M
day1_3.用户注册模块需求讲解.mp4 88.40M
day1_4.代码架构初次见面.mp4 217.16M
day2_1.用户注册模块dwd层代码讲解.mp4 109.81M
day2_2.用户注册模块dws层代码讲解.mp4 133.77M
day2_3.用户注册模块ads层代码讲解.mp4 238.71M
day2_4.用户注册模块演示.mp4 58.26M
day2_5.用户做题模块需求分析.mp4 258.53M
day2_6.dataX简述.mp4 186.51M
day3_1.做题模块需求回顾.mp4 231.74M
day3_2.做题模块dwd层代码讲解.mp4 254.21M
day3_3.做题模块dws层代码讲解.mp4 253.88M
day3_4.做题模块ads代码层讲解上.mp4 106.94M
day3_5.做题模块ads代码讲解下.mp4 265.61M
day3_6.做题模块演示.mp4 208.68M
day4_1.售课模块需求讲解之数据倾斜.mp4 117.13M
day4_2.正常导入dws数据倾斜查看.mp4 80.01M
day4_3.数据倾斜解决方案1.mp4 80.21M
day4_4.数据倾斜解决方案2之广播join.mp4 193.85M
day4_5.数据倾斜终极优化SMB.mp4 273.58M
实时
day1_1.实时架构讲解&需求1分析.mp4 265.94M
day1_2.代码架构以及工具包讲解.mp4 101.58M
day1_3.实时需求1代码讲解.mp4 112.99M
day1_4.实时需求1演示.mp4 116.14M
day1_5.实时需求1补充·.mp4 66.84M
day2_1.需求1回顾.mp4 122.73M
day2_2.需求2需求分析.mp4 137.81M
day2_3.需求2代码讲解1.mp4 131.60M
day2_4.需求2业务代码讲解与演示.mp4 279.49M
day3_1.实时需求3分析.mp4 270.64M
day3_2.实时需求3代码讲解1.mp4 84.23M
day3_3.实时需求3代码讲解2.mp4 220.68M
day3_4.实时代码需求3演示后台提交.mp4 285.66M
day3_5.项目总结.mp4 122.63M
