Sqoop官方中文手册(3)

–compression-codec 同import参数

8. job

用来生成一个sqoop的任务，生成后，该任务并不执行，除非使用命令执行该任务。 sqoop job

参数 说明 –create 生成一个job，示例如：sqoop job –create myjob — import –connectjdbc:mysql://localhost:3306/test –table person –delete 删除一个jobsqoop job –delete myjob –exec 执行一个jobsqoop job –exec myjob –help 显示帮助说明 –list 显示所有的jobsqoop job –list –meta-connect 用来连接metastore服务，示例如：–meta-connect jdbc:hsqldb:hsql://localhost:16000/sqoop –show 显示一个job的各种参数sqoop job –show myjob –verbose 打印命令运行时的详细信息 9. list-databases

打印出关系数据库所有的数据库名

sqoop list-databases –connect jdbc:mysql://localhost:3306/ -username root -password 123456

10.list-tables

打印出关系数据库某一数据库的所有表名

sqoop list-tables –connect jdbc:mysql://localhost:3306/zihou -username root -password 123456

11. merge

将HDFS中不同目录下面的数据合在一起，并存放在指定的目录中，示例如： sqoop merge –new-data /test/p1/person –onto /test/p2/person –target-dir /test/merged –jar-file /opt/data/sqoop/person/Person.jar –class-name Person –merge-key id

其中，–class-name所指定的class名是对应于Person.jar中的Person类，而Person.jar是通过Codegen生成的

参数 –new-data Hdfs中存放数据的一个目录，该目录中的数据是希望在合并后能优先保留的，原则上一般是存放越新数据的目录就对应这个参数。 –onto Hdfs中存放数据的一个目录，该目录中的数据是希望在合并后能被更新数据替换掉的，原则上一般是存放越旧数据的目录就对应这个参数。 –merge-key 合并键，一般是主键ID –jar-file 合并时引入的jar包，该jar包是通过Codegen工具生成的jar包 –class-name 对应的表名或对象名，该class类是包含在jar包中的。 –target-dir 合并后的数据在HDFS里的存放目录

12. metastore

记录sqoop job的元数据信息，如果不启动metastore实例，则默认的元数据存储目录为：

~/.sqoop，如果要更改存储目录，可以在配置文件sqoop-site.xml中进行更改。 metastore实例启动：sqoop metastore

–shutdown 关闭一个运行的metastore实例 13. version

显示sqoop版本信息 语句：sqoop version

14. help

打印sqoop帮助信息 语句：sqoop help

15.公共参数

Hive参数

参数 说明 –hive-delims-replacement 用自定义的字符串替换掉数据中的\\n, \\r, and \\01等 –hive-drop-import-delims 在导入数据到hive中时，去掉数据中\\n,\\r和\\01这样的字符 –map-column-hive 生成hive表时，可以更改生成字段的数据类型，格式如：–map-column-hiveTBL_ID=String,LAST_ACCESS_TIME=string –hive-partition-key 创建分区，后面直接跟分区名即可，创建完毕后，通过describe 表名可以看到分区名，默认为string型 –hive-partition-value 该值是在导入数据到hive中时，与–hive-partition-key设定的key对应的value值。 –hive-home

Hive的安装目录，可以通过该参数覆盖掉默认的hive目录 –hive-import 将数据从关系数据库中导入到hive表中 –hive-overwrite 覆盖掉在hive表中已经存在的数据 –create-hive-table 默认是false,如果目标表已经存在了，那么创建任务会失败 –hive-table 后面接要创建的hive表 –table 指定关系数据库表名 数据库连接参数

参数 说明 –connect Jdcb连接url，示例如：–connect jdbc:mysql://localhost:3306/hive