gphdfs外部表和hive怎么結合使用

這篇文章主要介紹了gphdfs外部表和hive怎么結合使用，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

一、在所有節點上安裝java1.6或以上版本

二、在segment上安裝hadoop，支持以下版本。

三、配置所有節點gp環境

[gpadmin@db10 ~]$ echo $JAVA_HOME

/usr/java/default

[gpadmin@db10 ~]$ echo $HADOOP_HOME

/opt/hadoop

[gpadmin@db10 ~]$ hadoop version

Hadoop 2.7.2

[gpadmin@db10 ~]$ vim .bashrc 

if [ -f /etc/bashrc ]; then

     . /etc/bashrc

fi

# User specific aliases and functions

source /opt/greenplum-db/greenplum_path.sh

export MASTER_DATA_DIRECTORY=/hdd1/master/gpseg-1

export JAVA_HOME=/usr/java/default

export HADOOP_HOME=/opt/hadoop

export HADOOP_VERSION=2.7.2

export PATH=$PATH:$JAVA_HOME/bin/:$HADOOP_HOME/bin

四、配置gp參數

[gpadmin@db9 ~]$ gpconfig -c gp_hadoop_home -v "'/opt/hadoop'"

[gpadmin@db9 ~]$ gpconfig -c gp_hadoop_target_version -v "'hadoop2'"

[gpadmin@db9 ~]$ gpstop -u

五、hive上創建表

create table wdbd_dm.date_test1(id int,name string)

insert into wdbd_dm.date_test1 values(1,’wjian’);

insert into wdbd_dm.date_test1 values(2,’wuj’);

insert into wdbd_dm.date_test1 values(3,'mike’);

在gp上查看生成的hdfs文件，生成了3個文件

[gpadmin@db10 ~]$hdfs dfs -ls hdfs://172.20.5.8:8020/user/hive/warehouse/wdbd_dm.db/date_test1/

……

-rwxrwxr-x   3 root root          8 2017-05-25 16:02 hdfs://172.20.5.8:8020/user/hive/warehouse/wdbd_dm.db/date_test1/part-00000

-rwxrwxr-x   3 root root          6 2017-05-25 16:02 hdfs://172.20.5.8:8020/user/hive/warehouse/wdbd_dm.db/date_test1/part-00000_copy_1

-rwxrwxr-x   3 root root          7 2017-05-25 16:02 hdfs://172.20.5.8:8020/user/hive/warehouse/wdbd_dm.db/date_test1/part-00000_copy_2

注：172.20.5.8是目標集群的namenode地址，8020是端口

六、創建gphdfs文件外部表

create EXTERNAL table hdfs_test(id int,name varchar(32))
location ('gphdfs://172.20.5.8:8020/user/hive/warehouse/wdbd_dm.db/date_test1/part*')
format 'TEXT' (DELIMITER '\001')

注：hive文件默認的分隔符是ascii碼的控制符\001

edw=# select * from hdfs_test;

id | name  

----+-------

  2 | wuj

  3 | mike

  1 | wjian

(3 rows)

感謝你能夠認真閱讀完這篇文章，希望小編分享的“gphdfs外部表和hive怎么結合使用”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，更多相關知識等著你來學習!