Hadoop單機版搭建圖文詳解

前置條件:

1、ubuntu10.10安裝成功(個人認為不必要花太多時間在系統(tǒng)安裝上,我們不是為了裝機而裝機的)

2、jdk安裝成功(jdk1.6.0_23for linux版本,圖解安裝過程http://freewxy.iteye.com/blog/882784  )

3、下載hhadoop0.21.0.tar.gz(http://apache.etoak.com//hadoop/core/hadoop-0.21.0/ )

 

 

安裝hadoop

1、首先將hadoop0.21.0.tar.gz復制到usr下的local文件夾內(nèi),(sudo cp hadoop路徑 /usr/local)如圖1


2、進入到local目錄下,解壓hadoop0.21.0.tar.gz,如圖2


3、為方便管理和hadoop版本升級,將解壓后的文件夾改名為hadoop,如圖3



 

方便起見,新增hadoop的組和其同名用戶:

1、創(chuàng)建一個名字為hadoop的用戶組,如圖4


2、創(chuàng)建一個用戶名為hadoop的用戶,歸到hadoop組下,如圖5(一些信息可以不填寫,直接按enter鍵即可)如圖5


3、(1)添加用戶權(quán)限:打開etc下的sudoers文件,添加如下(2)命令,如圖6



 --------------------------------------------------------------------------------------------------------------------------------

  (另一種方法是先切換到root用戶下,然后修改sudoers的權(quán)限,但這樣操作一定要小心謹慎,修改權(quán)限后要將文件改回只讀,否則悲劇啦啦啦,我們一票人死在這點上好多次)

   (2)在root ALL =(ALL) ALL 下面添加如下文字:

            hadoop ALL = (ALL) ALL

  如圖7

-----------------------------------------------------------------------------

 ----------------------------------------------------------------------------------------------

   (/etc/sudoers文件是用于sudo命令執(zhí)行時審核執(zhí)行權(quán)限用的)

執(zhí)行命令:$:sudo chown hadoop /usr/local/hadoop(將hadoop文件夾的權(quán)限賦給hadoop用戶)


安裝ssh (需聯(lián)網(wǎng)):(了解ssh:http://freewxy.iteye.com/blog/910820)

1、安裝openssh_server:如圖8


2、創(chuàng)建ssh-key,為rsa,如圖9


   填寫key的保存路徑,如圖10填寫


3、添加ssh-key到受信列表,并啟用此ssh-key,如圖11


 

4、驗證ssh的配置,如圖12


 


配置hadoop

0、瀏覽hadoop文件下都有些什么東西,如圖13


 

1、打開conf/hadoop-env.sh,如圖14


 

   配置conf/hadoop-env.sh(找到#export JAVA_HOME=...,去掉#,然后加上本機jdk的路徑),如圖15

---------------------------------------------------------------------------------------------

-------------------------------------------------------------------------------------- 

2、打開conf/core-site.xml

   配置,如下內(nèi)容:

Java代碼  收藏代碼

  1. <configuration>  

  2.  <property>  

  3.   <name>fs.default.name</name>  

  4.   <value>hdfs://localhost:9000</value>   

  5.  </property>  

  6.  <property>  

  7.   <name>dfs.replication</name>   

  8.   <value>1</value>   

  9.  </property>  

  10.  <property>  

  11.   <name>hadoop.tmp.dir</name>  

  12.   <value>/home/hadoop/tmp</value>   

  13.  </property>  

  14. </configuration>   

 


 

 

 

3、打開conf目錄下的mapred-site.xml

  配置如下內(nèi)容:

Java代碼  收藏代碼

  1. <configuration>  

  2.  <property>   

  3.   <name>mapred.job.tracker</name>  

  4.   <value>localhost:9001</value>   

  5.  </property>  

  6. </configuration>  

 


 


 

 

 

運行測試 :

1、改變用戶,格式化namenode,如圖18


 

  可能遇到如下錯誤(倒騰這個過程次數(shù)多了),如圖19


 

執(zhí)行如圖20,再次執(zhí)行如圖18


 

2、啟動hadoop,如圖21


 

3、驗證hadoop是否成功啟動,如圖22


 


運行自帶wordcount例 子(jidong啊)

1、準備需要進行wordcount的文件,如圖23(在test.txt中隨便輸入字符串,保存并退出)



-------------------------------------------------------------------------------------------

2、將上一步中的測試文件上傳到dfs文件系統(tǒng)中的firstTest目錄下,如圖24(如果dfs下不包含firstTest目錄的話自動創(chuàng)建一個同名目錄,使用命令:bin/hadoop dfs -ls查看dfs文件系統(tǒng)中已有的目錄)


 

3、執(zhí)行wordcount,如圖25(對firstest下的所有文件執(zhí)行wordcount,將統(tǒng)計結(jié)果輸出到result文件夾中,若result文件夾不存在則自動創(chuàng)建)


4、查看結(jié)果,如圖26


 

 

單機版搞定~~


出處:http://freewxy.iteye.com/blog/1027569  作者:freewxy


精品深夜AV无码一区二区老年,又湿又紧又大又爽a视频,久久亚洲精品无码观看不卡,香港三级日本三级a视频 平顶山市| 渝北区| 西丰县| 舞钢市| 沽源县| 南通市| 昭平县| 平远县| 禹州市| 天全县| 延川县| 紫云| 江北区| 丹东市| 武平县| 玉田县| 洛隆县| 陆川县| 绍兴市| 临城县| 安阳县| 新兴县| 奎屯市| 青神县| 察隅县| 兴隆县| 峨山| 滦南县| 镇沅| 阜康市| 即墨市| 定襄县| 平凉市| 恩施市| 和顺县| 顺昌县| 诸城市| 上虞市| 福安市| 古交市| 水城县|