eclipse遠(yuǎn)程調(diào)試mapreduce-創(chuàng)新互聯(lián)

使用環(huán)境：centos6.5+eclipse(4.4.2)+hadoop2.7.0

在館陶等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供成都網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì) 網(wǎng)站設(shè)計(jì)制作按需定制設(shè)計(jì),公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站制作,成都營銷網(wǎng)站建設(shè),成都外貿(mào)網(wǎng)站建設(shè),館陶網(wǎng)站建設(shè)費(fèi)用合理。

1、下載eclipse hadoop 插件  hadoop-eclipse-plugin-2.7.0.jar 粘貼到eclipse 目錄下的plugins下重新啟動eclipse

2、選擇eclipse里面的windows-->showview-->other-->mapreduce tool -->map/reduce locations

3、選擇上一步后eclipse右下角會多出一個map/reduce locations 選項(xiàng)卡，在里面點(diǎn)擊右鍵-->new hadoop locations -->配置如下圖所示：

4、配置hadoop/etc/hadoop/mapred-site.xml，在<configuration></configuration>追加如下信息

<property>  
    <name>mapred.map.child.java.opts</name>   
    <value>-Xmx1024m -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8883</value>  
</property>  
<property>  
    <name>mapred.tasktracker.map.tasks.maximum</name>  
    <value>1</value>  
</property>

追加后的mapred-site.xml完整信息

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>
    <property>  
        <name>mapred.map.child.java.opts</name>   
            <value>-Xmx1024m -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8883</value>  
     </property>  
      <property>  
          <name>mapred.tasktracker.map.tasks.maximum</name>  
          <value>1</value>  
      </property> 
　　　　　 
</configuration>

追加后的mapred-site.xml完整信息

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

　　<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

    <property>  
        <name>mapred.map.child.java.opts</name>   
            <value>-Xmx1024m -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8883</value>  
    </property>  

     <property>  
        <name>mapred.tasktracker.map.tasks.maximum</name>  
        <value>1</value>  
    </property> 

    <property>  
        <name>mapred.reduce.child.java.opts</name>  
        <value>-Xmx1024m -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8884</value>  
     </property>  

     <property>  
        <name>mapred.tasktracker.reduce.tasks.maximum</name>  
        <value>1</value>  
     </property>  

</configuration>

執(zhí)行：hadoop jar xxx.jar words.txt /wordsout

 提交上面之后job就會在map 0% reduce 0%的時刻停下來等待遠(yuǎn)程調(diào)試的debugger。

這時在eclipse -->Debug as -->Remote Java Appplicetion :Contention Proteties IP:127.0.0.1[根據(jù)情況填寫實(shí)際IP],Port:8883[上面配置的端口] apply debug

這時就可以進(jìn)入map函數(shù)里面了。

5、調(diào)試Reduce 任務(wù)

配置hadoop/etc/hadoop/mapred-site.xml，在<configuration></configuration>追加如下信息

<property>  
    <name>mapred.reduce.child.java.opts</name>  
    <value>-Xmx1024m -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8884</value>  
</property>  
<property>  
    <name>mapred.tasktracker.reduce.tasks.maximum</name>  
    <value>1</value>  
</property>

執(zhí)行：hadoop jar xxx.jar words.txt /wordsout

之后提交job，job就會在map 100% reduce 0%的時刻停下來等待遠(yuǎn)程調(diào)試的debugger。

這時在eclipse -->Debug as -->Remote Java Appplicetion :Contention Proteties IP:127.0.0.1[根據(jù)情況填寫實(shí)際IP],Port:8884[上面配置的端口] apply debug

這時就可以進(jìn)入reduce函數(shù)里面了。

本篇文章是基于hadoop 偽部署的基本上配置 的

參考文章：http://blog.csdn.net/gjt19910817/article/details/30384685

本文題目：eclipse遠(yuǎn)程調(diào)試mapreduce-創(chuàng)新互聯(lián)
URL網(wǎng)址：http://www.jbt999.com/article0/dhcsio.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App設(shè)計(jì)、企業(yè)建站、網(wǎng)站改版、網(wǎng)站內(nèi)鏈、網(wǎng)站設(shè)計(jì)、定制網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：[email protected]。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)