sqoop 错误记录

电玩女神 2022-06-06 01:08 225阅读 0赞

sqoop命令有点长， 我们初学者难免会犯种种错误， 以下是我遇到的和可行的解决办法

## 1 ##

Error: java.io.IOException: SQLException in nextKeyValue

解决办法：  
这个有可能是数据库字段语句写的有问题，如下语句就会报此错误:  
sqoop import –hive-import –connect jdbc:mysql://localhost:3306/my\_db –username hive –password 1234 –table t\_stu –columns ‘name,sex’ -m 1 –hive-table t\_stu –where ‘sex=man’;  
这是将mysql表导入到hive中， 出错地方就在’sex=man’ 因为sex字段是char类型，所以应该改成”sex=’man’” 即可

--------------------

## 2 ##

Encountered IOException running import job: org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/user/hadoop/t\_stu already exists

解决办法: 在hadoop 的 /user/hadoop目录下存在t\_stu, 删除掉即可

--------------------

## 3 ##

Encountered IOException running import job: java.io.IOException: Query \[select \* from t\_stu where sex=’woman’ AND \] must contain ‘$CONDITIONS’ in WHERE clause.

这个错误是需要在查询语句后添加 AND`$CONDITIONS`如下语句（注意：当使用单引号时只需要使用AND $CONDITIONS 若是双引号则需要加个”\\”, 就是这样`AND \$CONDITIONS`）

sqoop import --hive-import --connect jdbc:mysql://localhost:3306/my_db --username hive --password 1234 -m 1 --query "select * from t_stu where sex='woman' AND \$CONDITIONS" --target-dir '/sqoop/newtable' --hive-table newtable

--------------------

## 4 ##

ERROR manager.SqlManager: Error reading from database: java.sql.SQLException: Streaming result set  
解决办法： 将mysql连接驱动换成高版本的

发表评论取消回复

表情：

评论列表（有 0 条评论，225人围观）

还没有评论，来说两句吧...

相关阅读

相关 Sqoop

一、Sqoop 1 官网 http://sqoop.apache.org/ 2 概述 1、用于结构化数据存储（如传统关系型数据库）和Ha...

小咪咪/ 2024年04月20日 08:37/ 0 赞/ 68 阅读

相关记录sqoop导入过程中出现的问题

ava.io.IOException: No columns to generate for ClassWriter 可以通过添加这个–driver com.mysql...

水深无声/ 2024年04月17日 05:29/ 0 赞/ 100 阅读

相关 sqoop 启动报配置错误

ble rds.customer --hive-overwrite Error: /home/banxian/sqoop1/bin/../../hadoop d

「爱情、让人受尽委屈。」/ 2022年12月01日 14:15/ 0 赞/ 139 阅读

相关 sqoop 错误记录

sqoop命令有点长，我们初学者难免会犯种种错误，以下是我遇到的和可行的解决办法 1 Error: java.io.IOException: SQLExceptio

电玩女神/ 2022年06月06日 01:08/ 0 赞/ 226 阅读

相关 sqoop

sqoop有什么用？ sqoop 用来在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递 -----------------

秒速五厘米/ 2022年06月06日 01:08/ 0 赞/ 252 阅读

相关 sqoop工具安装和基本命令使用记录

> sqoop底层就是MR，利用MapReduce加快数据传输速度，批处理方式进行数据传输，sqoop不管是导入还是导出都没有reduce操作，只有map操作。安装sqo

电玩女神/ 2022年05月28日 05:06/ 0 赞/ 212 阅读

相关 20180611早课记录28-Sqoop

1.sqoop是什么? 主要用于在Hadoop与RDBMS间进行数据的传递 2.sqoop分为哪两个分支，各最新版本是什么? sqoop1：1.4.7 sqo

叁歲伎倆/ 2022年05月22日 00:07/ 0 赞/ 170 阅读

相关 Sqoop

Sqoop的基本原理和相关参数配置：简介 Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgre

心已赠人/ 2022年04月25日 01:46/ 0 赞/ 243 阅读

相关 Sqoop

Sqoop优化参考这个https://blog.csdn.net/u010185220/article/details/79085119 如何判断读取的数据是否完整？可

柔情只为你懂/ 2022年03月15日 02:24/ 0 赞/ 270 阅读

相关 Sqoop

sqoop flume数据采集采集日志数据 sqoop数据迁移 hdfs->mysql azkaban任务调度 flume->hdfs->shell->hive-

矫情吗；*/ 2021年12月03日 07:01/ 0 赞/ 330 阅读