uu快3充值_uu快3回血_新平台

hadoop权威指南学习(一)

时间:2020-02-04 02:37:31 出处:uu快3充值_uu快3回血_新平台

作者比较做人家,只给了2年的历史数据,无妨,2年也还须要运行。

hadoop fs -cat /data/output/*

输出结果如下:

下载下来让人看多1901.gz,1902.gz

3-3)把当我们我们我们 的jar包拷贝到有另一个 地方,要是我进入命令行,进入哪个目录

殊不知,Tom White大牛随便说说在书中写了应用系统进程和讲解了原理,要是我他以为当我们我们我们 时会部署了,这里轻描淡写给

cd /Users/KG/Documents/MyTest/Jar

2. 要是我当我们我们我们 还须要日后结束当我们我们我们 的编码之旅了

3-4) 使用hadoop jar运行命令

hadoop jar xxx.jar 你的主类名 你的本地gz文件存放的目录 你本地另外有另一个 输出目录

hadoop jar original-MaxTemperature-1.0-SNAPSHOT.jar org.genesis.hadoop.temperature.MaxTemperature /data /data/output

新建有另一个 maven项目,要是我按照书中的例子,编写如下5个类(这里Mapper, Reducer, Job的原理让人太多解释了,另一方去看大牛的书去)

我的pom.xml

MaxTemperature.java

要是我,这里让人报错: 找只有主类名

3-2) 把当我们我们我们 的gz数据拷贝到以前新建的目录

3-5)再次运行完整篇 命令,如下:

MaxTemperatureReducer.java

Ok, 包打完了,得到如下jar包: xxx.jar

然而,很不幸,你的应用系统进程跑不了,理由很简单,根本就找只有你的gz文件的目录。

hadoop fs -mkdir /data

hadoop fs -copyFromLocal /Users/KG/Documents/MyWork/Hadoop/data/ncdc/*.gz /data

防止方案:你须要给另一方的pom配置shade插件

喔,查了下网上的资料,发现我似乎应该把本地文件拷贝到HDFS,赶快查资料,下一步。。。

4. 验证分析结果

这里笔者就把踩过的坑说一下,以防日后人浪费时间了。

3. 将本地数据拷贝到HDFS(前提有了你要是我安装了hadoop要是我把服务给启动了起来)

3-1) 当我们我们我们 先在hdfs根目录下建个data目录

带过了,从前就给菜鸟们留了课题,其随便说说跑书中的应用系统进程的以前,要是我没经验,还是会踩坑的。

看多Tom White写的Hadoop权威指南(大象书)的当我们我们我们 一定得从第有另一个 天气预报的Map Reduce应用系统进程所吸引,

使用如下命令:

要是我你看多如下输出,没有你成功了

好了,你要是我会试着用书中要是我网上的命令(前提有了你要是我配置好$hadoop_home) 

1901 317

1902 244

MaxTemperatureMapper.java

1. 首先,你得下载书中的ncdc气象原始数据,或多或少还须要从书中的官网下载。

 

 要是我把当我们我们我们 的Java应用系统进程打包,你认为另一方是有另一个 Java熟手,完整篇 时会吗,熟练的命令要是我IDE都还须要(mvn clean install)

热门

热门标签