使用shell分页读取600万+的MySQL数据脚本

「爱情、让人受尽委屈。」 2022-04-12 09:59 250阅读 0赞

\[b\]\[color=black\]\[size=large\]  
shell-mysql  
（1）脚本背景:  
由于要在Linux上，远程读取mysql的表的数据，然后做一定清洗后，把数据上传至Hadoop集群中，使用Java写吧，感觉太麻烦了，得在Win上开发好，还得打成jar包， 上传到Linux上，如果那里出了问题，还得重复这样，非常不方便，那就用shell写一个吧，也不需要什么jdbc驱动包，只需要在Linux上装个MySQL的 客户端即可，用一行yum命令即可搞定，所以就花了点时间，封装了一个小脚本  
  
（2）功能介绍:  
直接在Linux下使用shell脚本远程分页读取MySQL表的数据的一个小脚本，已测过读取600万+的数据 效率与jdbc相差无几  
  
（3）脚本介绍:  
主要有三个脚本构成  
1，page.sh 这是一主脚本，里面定义了分页的条件，大家看下便知  
2，f.sh 一个小包装的脚本吧，里面会用sed去掉表头一些信息  
3，port.sh 分页读取数据的执行脚本  
  
（4）如何使用？  
使用非常简单，需要改下page.sh里面的查询字段，以及分页查询的数量，默认是10000，然后执行sh page.sh databaseName tableName传入数据库名和表名即可  
  
\[url=https://github.com/qindongliang/shell-mysql\]Github项目地址\[/url\]  
  
\[/size\]\[/color\]\[/b\]

#第一个参数表名
    #第二个参数是start
    #第三个参数是offset
    #分页读取数据后，删除第一行表头，并写入一个文件中，文件名与表名一样
    sh port.sh $1 $2 $3  | sed '1d' >> tables/$1
    
    #删除无用的html字符
    #sed -i 's/<[^>]*>//g;/^$/d'  tables/$1   
    #删除无用的一些特殊符号
    #sed -i 's/[a-zA-Z\.():;><-]//g' tables/$1

#登陆mysql，负责查询某个表数据总量
    MYSQL=`which mysql`
    count=`$MYSQL -hmysqlhost --default-character-set=utf8   -P3306 -uname -ppwd  <<EOF  
    use $1;
    select    count(1)  from $2  ;
    EOF` 
    
    #得到某一个表的总数量
    count=`echo "$count" | sed '1d' `
    #定义一个每页读取的最大数量
    pageSize=10000
    #计算总共的分页数
    totalPage=0;
    #判断总数量，求模是否等于0，等于0，就是相除多少页
    temp=` echo "$count%$pageSize" | bc `
    if [ 0 -eq $temp ] ;then
    totalPage=`echo  "$count/$pageSize" | bc`
    else
    #否则，就是相除后+1，作为总的分页数
    totalPage=`echo  "$count/$pageSize+1" | bc`
    fi
    
    echo "总数量：$count 每页读取数量：$pageSize  分页数量：$totalPage"
    
    #把总页数减一，方便分页处理，因为后面咱的下标从0开始
    totalPage=`echo "$totalPage-1" | bc `
    #echo "处理后：$totalPage"
    
    #for循环遍历总页数
    for page in `seq 0 $totalPage`
    do
    #计算每页的偏移量
    offset=`echo "$page*$pageSize" | bc `
    echo "当前处理到第$page页,分页信息： limit $offset $pageSize  "
    ###第一个参数表名
    ###第二个参数偏移量
    ###第三个参数每页读取数据
    #调用f.sh获取数据
    sh f.sh $1 $offset $pageSize 
    done
    
    
    #sed -i 's/<[^>]*>//g;/^$/d'  tables/$1
    
    #sed -i 's/[a-zA-Z\.():;><-]//g' tables/$1

#连接mysql
    #        -h主机地址                                                             -u用户名 -p密码
    
    #下面的语句，是登陆到数据库后，使用某个数据库，然后根据条件查询表
    MYSQL=`which mysql`
    
     $MYSQL -hmysqlhost --default-character-set=utf8   -P3306 -uname -ppwd  <<EOF  
    
    
    use db_conform;
    
    
    select    concat_ws('#',ifNull(id,''),ifNULL(title,''),ifNULL(replace(replace(replace(content ,'\n','' ), '\r' , '' ),'#','' ) ,''),ifNULL(doc_no,'')) from $1 limit $2 , $3   ;
    
    
    EOF
    
    
    #echo $query

\[b\]\[color=red\]\[size=large\]觉得不错的话，就帮忙顶下吧！谢谢啦！\[/size\]\[/color\]\[/b\]  
  
\[b\]\[color=green\]\[size=large\]  
最后欢迎大家扫码关注微信公众号：我是攻城师(woshigcs)，我们一起学习，进步和交流!（woshigcs）  
本公众号的内容是有关搜索和大数据技术和互联网等方面内容的分享，也是一个温馨的技术互动交流的小家园，有什么问题随时都可以留言，欢迎大家来访！  
\[/size\]\[/color\]\[/b\]  
\[img\]http://dl2.iteye.com/upload/attachment/0104/9948/3214000f-5633-3c17-a3d7-83ebda9aebff.jpg\[/img\]