sqoop java.lang.Exception: java.lang.ClassNotFoundException: Class xxx(表名) not found

忘是亡心i 2023-10-06 21:48 12阅读 0赞

**sqoop把mysql数据导入到hdfs 执行报错**  
sqoop 执行如下

./sqoop import \
    --connect jdbc:mysql://10.xx.120.xxx:3306/fl \
    --username root \
    --password 606122 \
    --table bond_code \
    --target-dir /sqoop \
    --delete-target-dir \
    --fields-terminated-by '\t'

报错信息如下：  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5LiN56ev6Les5q2l77yM5peg5Lul6Ie05Y2D6YeM_size_20_color_FFFFFF_t_70_g_se_x_16]

报错原因：  
class未找到是因为map是本地方式运行，生成的jar包在/tmp/sqoop-\[username\]目录下有两种解决方式

**解决办法：**

**方式一**

修改mapred运行方式，修改为伪分布方式

# 1.etc/hadoop/mapred-site.xml:
    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
        <property>
            <name>mapreduce.admin.user.env</name>
            <value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value>
        </property>
        <property>
            <name>yarn.app.mapreduce.am.env</name>
            <value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value>
        </property>
    </configuration>
    
    # 2. etc/hadoop/yarn-site.xml
    <configuration>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
    </configuration>
    
    # 3. Start ResourceManager daemon and NodeManager daemon:
      $ sbin/start-yarn.sh

**方式二**  
在任务命令中增加–bindir参数

./sqoop import \
    --connect jdbc:mysql://1x.1xx.1x.20x:3306/fl \
    --username **** \
    --password **** \
    --table bond_code \
    --target-dir /sqoop \
    --delete-target-dir \
    --fields-terminated-by '\t' \
    --bindir /usr/local/work/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0/lib

[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5LiN56ev6Les5q2l77yM5peg5Lul6Ie05Y2D6YeM_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/8ff054c09871429cadbed1894a7dd8ab.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiN56ev6Les5q2l77yM5peg5Lul6Ie05Y2D6YeM,size_20,color_FFFFFF,t_70,g_se,x_16