项目
| 模块
| 具体内容
| 涉及技术
|
大数据Spark实战项目：
精准广告推送系统
DMP平台
| 广告行业现状
| 广告行业现状分析
| 传统广告和互联网广告投放优劣PK
|
广告行业知识介绍
| 互联网广告的程序化采买概念
|
DSP业务需求详解
| SSP详解
|
AD Exchange详解
|
RTB实时竞价详解
|
DSP平台详解
|
DMP平台详解
|
项目背景
| 项目背景介绍
| DMP平台建设的必要性分析
|
项目业务流程梳理
| DMP业务流程详解
|
项目技术架构分析
| DMP技术架构设计分析
|
日志采集
| 日志采集方案设计分析
|
日志格式
| 日志格式详解
|
项目数据采集
| Flume自定义插件详解
| Flume自定义插件开发流程详解及实际场景应用；
source、channel、sink的使用详解及实战经验；
Flume HDFS sink深入剖析及实战经验；
数据存储目录结构设计；
|
Flume组件使用详解
|
Flume采集日志到HDFS
|
日志存储目录设计
|
数据存储技术选型
| parquet选型
| Paruqet存储原理详解
|
Parquet优势分析
| Parquet存储优点详解
|
Parquet实战
| 日志文件转Parquet文件实战
|
离线业务
| 日志数据量分布统计
| Spark SQL实战
|
广告投放效果地域分析
| Spark Transformations各算子在各业务模型中的实战应用；
Spark Action的实战应用最佳实践经验；
Spark SQL在项目数据分析业务场景中的各类复杂应用，如
如参与竞价数、竞价成功数、竞价成功率、ECPC、ECPM等。
|
广告投放效果渠道分析
|
广告投放效果终端分析
|
广告投放效果媒体分析
|
实时业务
| 广告日志到Kafka
| 使用Spark Streaming结合Kafka对业务指标进行实时统计分析，并将计算的结果数据存储到Redis中
Kafka分区调优应用；
Kafka整合Spark Streaming的数据可靠性优化实战；
Kafka整合Spark Streaming的吞吐量协调优化实战；
Spark Streaming在复杂业务模型下的逻辑开发实战；
Spark Streaming线上环境各类复杂异常处理经验；
Spark Streaming线上环境各类监控、JVM优化经验
|
媒体数据实时分析
|
渠道数据实时分析
|
用户画像
| 标签体系建设
| 定制一套标签体系
|
用户上下文标签
| 使用Spark Transformations、Action、Broadcast及外部爬虫抓到的网络数据进行处理分析将数据标签化
|
统一用户识别
| 使用Spark GraphX算法，对数据进行分析处理，识别出同一用户跨多个设备的问题
|
基于地理位置的广告投放
| 使用GEOHASH算法结合HBASE解决用户的地理位置识别问题
|
用户数据标签聚合
| 使用Spark Transformations、Action将上下文标签数据和统一用户数据进行合并
|
HBase存储用户标签
| 将合并的用户标签数据存储到Hbase中，并根据日志动态扩列
|
用户标签数据衰减
| 将Hbase中的标签数据按照日期自动衰减，形成当天最新的标签
|
数据可视化
| ElasticSearch
| 使用Echarts、ELK将Hbase中的数据做可视化的web平台；
Echarts实际应用实战技能；
ELK实际应用实战技能；
|
| Echarts
|
标签可视化平台建设
|
===============课程目录===============
窥视卡
雷达卡
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
照妖镜
