bg游戏资讯:大数据学习系列之四,Hive整合HBas

作者: 单机闯关小游戏  发布:2019-10-02

引言

在上一篇 大数据学习体系之四 ----- Hadoop Hive情况搭建图像和文字详解(单机) 和以前的大数目学习体系之二 ----- HBase情状搭建(单机) 中成功搭建了Hive和HBase的条件,并张开了相应的测量检验。本文重要讲的是什么样将Hive和HBase进行重组。

引言

在大额学习系列之一 ----- Hadoop境况搭建(单机) 成功的搭建了Hadoop的条件,在大数据学习体系之二 ----- HBase境况搭建(单机)职业有成搭建了HBase的条件以及相关应用介绍。本文首要讲解如何搭建Hadoop Hive的条件。

Hive和HBase的通讯意图

Hive与HBase整合的落实是行使两者本身对外的API接口相互通讯来造成的,其现实做事交由Hive的lib目录中的hive-hbase-handler-*.jar工具类来促成,通讯原理如下图所示。
bg游戏资讯 1

一、蒙受盘算

Hive整合HBase后的应用情形:

bg游戏资讯:大数据学习系列之四,Hive整合HBase图文详解。(一)通过Hive把数据加载到HBase中,数据源能够是文本也能够是Hive中的表。
bg游戏资讯:大数据学习系列之四,Hive整合HBase图文详解。(二)通过结合,让HBase援助JOIN、GROUP等SQL查询语法。
(三)通过结合,不仅仅可成功HBase的数据实时查询,也可以动用Hive查询HBase中的数据产生复杂的数目深入分析。

1,服务器选拔

本地虚拟机
操作系统:linux CentOS 7
Cpu:2核
内存:2G
硬盘:40G

说明:因为使用Ali云服务器每一次都要重新配置,并且还要想念网络传输难题,于是和睦在地头便搭建了三个设想机,方便文件的传输以及有关铺排,劣点是本来卡的计算机就变得更卡了。具体科目和应用在上壹次博文中。
地址: 。

一、蒙受选取

2,配置接纳

bg游戏资讯:大数据学习系列之四,Hive整合HBase图文详解。JDK:1.8 (jdk-8u144-linux-x64.tar.gz)
Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)
Hive: 2.1 (apache-hive-2.1.1-bin.tar.gz)

1,服务器选取

地面虚构机
操作系统:linux CentOS 7
Cpu:2核
内存:2G
硬盘:40G

3,下载地址

JDK:

bg游戏资讯:大数据学习系列之四,Hive整合HBase图文详解。Hadopp:

bg游戏资讯:大数据学习系列之四,Hive整合HBase图文详解。Hive

百度云盘:
链接: 密码:x51i

2,配置选拔

JDK:1.8 (jdk-8u144-linux-x64.tar.gz)
Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)
Hive: 2.1 (apache-hive-2.1.1-bin.tar.gz)
HBase:1.6.2 (hbase-1.2.6-bin.tar.gz)

二、服务器的连带布署

在安顿Hadoop Hive从前,应该先做一下配置。
做这几个安插为了有助于,使用root权限。

3,下载地址

官方网站地址
JDK:

Hadopp:

Hive

HBase:

百度云盘
链接: 密码:uycu

1,改换主机名

首先改变主机名,指标是为了方便管理。
输入:

hostname 

翻看本机的称谓
接下来改成主机名叫master
输入:

hostnamectl set-hostname master

注:主机名称更改之后,要重启(reboot)才会立见功用。

二、服务器的连锁安插

在配备Hadoop Hive HBase从前,应该先做一下布置。
做那个配置为了便于,使用root权限。

2,做IP和主机名的照耀

修改hosts文件,做涉嫌映射
输入

vim /etc/hosts

添加
主机的ip 和 主机名称

192.168.238.128 master

1,更动主机名

首先改变主机名,指标是为了方便管理。
输入:

hostname 

翻看本机的称号
然后改成主机名称为master
输入:

hostnamectl set-hostname master

注:主机名称改成之后,要重启(reboot)才会生效。

3,关闭防火墙

关闭防火墙,方便访谈。
CentOS 7版本以下输入:
关门防火墙

service   iptables stop

CentOS 7 以上的本子输入:

systemctl stop firewalld.service

2,做IP和主机名的映照

修改hosts文件,做涉嫌映射
输入

vim /etc/hosts

添加
长机的ip 和 主机名称

192.168.238.128 master

3,时间设置

查看当前岁月
输入:

date

翻看服务器时间是还是不是同样,若不等同则改换
改造时间命令

date -s ‘MMDDhhmmYYYY.ss’

3,关闭防火墙

闭馆防火墙,方便访谈。
CentOS 7版本以下输入:
关闭防火墙

service   iptables stop

CentOS 7 以上的版本输入:

systemctl stop firewalld.service

三、Hadoop安装和配备

Hadoop的现实性安插在大数额学习体系之一 ----- Hadoop情形搭建(单机) 中介绍得很详细了。所以本文就差没有多少介绍一下。
注:具体布置以温馨的为准。

4,时间设置

查看当前天子
输入:

date

翻看服务器时间是否一样,若不等同则变动
更改时间命令

date -s ‘MMDDhhmmYYYY.ss’

1,情状变量设置

编辑 /etc/profile 文件 :

vim /etc/profile

配备文件:

export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

5,全体的境况安顿

/etc/profile 的共同体配置

#Java Config
export JAVA_HOME=/opt/java/jdk1.8
export JRE_HOME=/opt/java/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

# Scala Config
export SCALA_HOME=/opt/scala/scala-2.12.2


# Spark Config
export  SPARK_HOME=/opt/spark/spark1.6-hadoop2.4-hive

# Zookeeper Config
export ZK_HOME=/opt/zookeeper/zookeeper3.4

# HBase Config
export HBASE_HOME=/opt/hbase/hbase1.2

# Hadoop Config 
export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

# Hive Config
export HIVE_HOME=/opt/hive/hive2.1
export HIVE_CONF_DIR=${HIVE_HOME}/conf

export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${ZK_HOME}/bin:${HBASE_HOME}/bin:${HIVE_HOME}/bin:$PATH

bg游戏资讯 2

注:具体的配备以友好的为准,未有的不要配置。

2,配置文件更动

先切换来 /home/hadoop/hadoop2.8/etc/hadoop/ 目录下

三、Hadoop的情状计划

Hadoop的切实可行安顿在大数量学习系列之一 ----- Hadoop情状搭建(单机) 中介绍得很详细了。所以本文就大致介绍一下。
注:具体布署以相好的为准。

3.2.1 修改 core-site.xml

输入:

vim core-site.xml

在添加:

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
   </property>
</configuration>

1,情况变量设置

编辑 /etc/profile 文件 :

vim /etc/profile

配置文件:

export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

3.2.2修改 hadoop-env.sh

输入:

vim hadoop-env.sh

将${JAVA_HOME} 修改为协和的JDK路线

export   JAVA_HOME=${JAVA_HOME}

修改为:

export   JAVA_HOME=/home/java/jdk1.8

2,配置文件更动

先切换成 /home/hadoop/hadoop2.8/etc/hadoop/ 索引下

3.2.3修改 hdfs-site.xml

输入:

vim hdfs-site.xml

在添加:

<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>
<property>
      <name>dfs.permissions</name>
      <value>false</value>
      <description>need not permissions</description>
</property>

3.2.1 修改 core-site.xml

输入:

vim core-site.xml

在添加:

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
   </property>
</configuration>

3.2.4 修改mapred-site.xml

若无 mapred-site.xml 该公文,就复制mapred-site.xml.template文件同等对待命名称叫mapred-site.xml。
输入:

vim mapred-site.xml

修改这一个新建的mapred-site.xml文件,在节点内插手配置:

<property>
    <name>mapred.job.tracker</name>
    <value>master:9001</value>
</property>
<property>
      <name>mapred.local.dir</name>
       <value>/root/hadoop/var</value>
</property>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

3.2.2修改 hadoop-env.sh

输入:

vim hadoop-env.sh

将${JAVA_HOME} 修改为和睦的JDK路线

export   JAVA_HOME=${JAVA_HOME}

修改为:

export   JAVA_HOME=/home/java/jdk1.8

3,Hadoop启动

运转以前需求先格式化
切换到/home/hadoop/hadoop2.8/bin目录下
输入:

./hadoop  namenode  -format

格式化成功后,再切换到/home/hadoop/hadoop2.8/sbin目录下
启动hdfs和yarn
输入:

start-dfs.sh
start-yarn.sh

运营成功后,输入jsp查看是不是运行成功
在浏览器输入 ip 8088 和ip 50070 分界面查看是不是能访谈
能科学访谈则运营成功

本文由bg游戏资讯发布于单机闯关小游戏,转载请注明出处:bg游戏资讯:大数据学习系列之四,Hive整合HBas

关键词: 大数据 hadoop hbase hive hive整合hbase

上一篇:直接竞争小,我想到了
下一篇:没有了