小象学院Hadoop进阶教程第一期（价值699元）

admin · 发表于 2016-5-14 13:58:53

小象学院Hadoop进阶教程第一期（价值699元）：

第一部分. MapReduce
Mapreduce工作流程及基本架构回顾
运维相关
参数调优
benchmark
reuse jvm
错误感知及speculative执行
task日志分析
可容忍错误百分比设置及跳过坏记录
选择fairescheduler等其他调度器优化性能
开发相关
数据类型选择
实现自定义writable数据类型、自定义key
一个mapper中输出不同类型value
InputFormat/OutputFormat，原理及定制
Mapper/Reducer/Combiner，Combiner的使用及其对mapreduce框架优化的作用
Partitioner定制
排序策略GroupingComparator/SortComparator
任务调度原理及修改方法（案例，map/reduce共享slot，按标识精准map/reduce调度）
Streaming
DistributedCache
mapreduce任务间依赖
counter
JobChild参数设置
性能优化

第二部分. hdfs
HDFS API
fuse（C API）
压缩
HDFS benchmark
Datanode添加及删除
多盘支持，磁盘错误感知
hdfs raid
HDFS block size设置相关问题
文件备份数设置
HDFS中合并文件

第三部分. Hadoop工具
dfsadmin/mradmin/balancer/distcp/fsck/fs/job
监控及报警
hadoop配置管理

第四部分. Hadoop调试
Log
本地模式调试map/reduce任务
远程调试

第五部分. 问题分析
Java GC介绍及java进程常用的分析工具jstat、jhat、jmap
top/iostat/netstat/lsof等
Jstack/kill -3
Strace
nload/tcpdump

第六部分.分析示例
MapReduce简单分析
用MapReduce实现Group-by
用MapReduce实现倒排索引
MapReduce实现直方图
MapReduce实现Join

下载地址：

游客，如果您要查看本帖隐藏内容请回复

gaolun · 发表于 2016-5-14 13:58:57

支持创盟资源论坛发展

pvc · 发表于 2016-5-20 14:21:52

cixiren · 发表于 2016-5-21 18:37:32

看起来不错

ruchzh · 发表于 2016-5-22 11:42:30

学习下

zdzzdz · 发表于 2016-5-24 16:46:48

围观围观沙发在哪里！！！

jonvi · 发表于 2016-5-27 13:00:35

glcui · 发表于 2016-5-29 22:54:35

这么强,支持楼主，佩服

sqtsqt · 发表于 2016-6-3 13:31:08

锄禾日当午，发帖真辛苦。谁知坛中餐，帖帖皆辛苦！

bx45m · 发表于 2016-6-4 10:21:22

支持你哈...................................

风华君 · 发表于 2016-6-4 23:45:36

……

kinroad · 发表于 2016-6-6 13:00:48

报告！别开枪，我就是路过来看看的。。。

大嘴鸭 · 发表于 2016-6-7 14:27:51

skypaladin · 发表于 2016-6-9 09:12:26

为毛老子总也抢不到沙发？！！

leon118 · 发表于 2016-6-12 21:13:18

我也顶起出售广告位

		自动登录	找回密码
密码			立即注册

小象学院Hadoop进阶教程第一期（价值699元）

相关帖子

浏览过的版块