上传者: 42127020
|
上传时间: 2022-03-17 16:00:49
|
文件大小: 4KB
|
文件类型: -
shell-mysql
使用shell脚本分页读取MySQL数据
脚本背景
由于要在Linux上,远程读取mysql的表的数据,然后做一定清洗后,把数据上传至Hadoop集群中,使用Java写吧,感觉太麻烦了,得在Win上开发好,还得打成jar包,
上传到Linux上,如果那里出了问题,还得重复这样,非常不方便,那就用shell写一个吧,也不需要什么jdbc驱动包,只需要在Linux上装个MySQL的
客户端即可,用一行yum命令即可搞定,所以就花了点时间,封装了一个小脚本
功能介绍
直接在Linux下使用shell脚本远程分页读取MySQL表的数据的一个小脚本,已测过读取600万+的数据
效率与jdbc相差无几
脚本介绍
主要有三个脚本构成1,page.sh 这是一主脚本,里面定义了分页的条件,大家看下便知2,f.sh 一个小包装的脚本吧,里面会用sed去掉表头一些信息3,port.