Sqoop ETL工具的基本操作

Sqoop ETL工具的基本操作

查看 sqoop 命令說明

sqoop help

查看某一個命令的使用說明：

sqoop cammond -help

從orange，mysql到hdfs

sqoop import --connect jdbc:oracle:thin:@192.168.1.254:1521:orcl --username bd_user   --password bd_user   --table GS_B_GY_DWCPNYXHBJG_S  —target-dir '/user/haha/' -m 1

sqoop import --connect jdbc:mysql://192.168.1.232:3307/bigdatamanager --username root --password root --table gbi_pd_log —target-dir /user/hehe -m 1

從oracle，mysql到hive

sqoop import-all-tables --connect jdbc:oracle:thin:@192.168.1.232:14231:xe --username bhl_user --password bhl_user --hive-database bhl_user -m 1 --create-hive-table --hive-import —hive-overwrite

 sqoop import --connect jdbc:oracle:thin:@192.168.1.232:14231:xe --username bhl_user  --password bhl_user —table BD_ECO_TX_2015_0516

sqoop import --connect jdbc:oracle:thin:@192.168.1.232:14231:xe --username bhl_user  --password bhl_user --table BD_ECO_TX_2015_0516 —hive-import —hive-database bhl_user -m 1(oracle 連接的截圖在這就不寫了，下面是mysql的測試)

======================================================================

列出數據庫：

sqoop list-databases --connect jdbc:mysql://192.168.1.232:3307/bigdatamanager --username root --password root

列出bigdatamanager數據庫中的表

sqoop list-tables --connect jdbc:mysql://192.168.1.232:3307/bigdatamanager --username root --password root

從mysql到hive

 sqoop import --connect jdbc:mysql://192.168.1.232:3307/bigdatamanager --username root —password root —table insurance_yearcost -hive-import