登录
首页 >  数据库 >  MySQL

11. 安装Hive及MySQL

来源:SegmentFault

时间:2023-01-12 07:46:02 290浏览 收藏

亲爱的编程学习爱好者,如果你点开了这篇文章,说明你对《11. 安装Hive及MySQL》很感兴趣。本篇文章就来给大家详细解析一下,主要介绍一下MySQL、hive,希望所有认真读完的童鞋们,都有实质性的提高。

Hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。

集群规划


hadoop151 hadoop152 hadoop153
hive&mysql

安装MySQL


  1. 切换到root用户下,卸载本机自带的数据库。

    [root@hadoop151 software]$ rpm -qa | grep mariadb
    [root@hadoop151 software]$ yum -y remove mariadb-libs-5.5.60-1.el7_5.x86_64
  2. 安装MySQL

    [root@hadoop151 mysql-libs]$ rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm
    [root@hadoop151 mysql-libs]$ cat /root/.mysql_secret   # 查看初始密码
    [root@hadoop102 mysql-libs]$ service mysql start       # 启动MySQL服务
  3. 登录MySQL,设置密码

    [root@hadoop151 mysql-libs]$ mysql -uroot -p密码
    mysql> set password=password('000000');    # 设置密码为六个0
  4. 配置MySQL远程登陆

    mysql> use mysql;
    mysql> show tables;
    mysql> desc user;
    mysql> select User, Host, Password from user;
    mysql> update user set host='%' where host='localhost'; /* 修改user表,把Host表内容修改为% */
    mysql> delete from user where Host='hadoop151'; /* 删除root用户的其他host */
    mysql> delete from user where Host='127.0.0.1';
    mysql> delete from user where Host='::1';
    mysql> flush privileges;
  5. 设置MySQL编码为UTF-8。
    修改my.cnf文件(这个文件可能在/etc目录下,也可能在/usr目录下),在[mysqld]这一栏中添加如下内容:

    init_connect='SET collation_connection = utf8_unicode_ci'
    init_connect='SET NAMES utf8'
    character-set-server=utf8
    collation-server=utf8_unicode_ci
    skip-character-set-client-handshake
  6. 重启MySQL服务,查看编码。

    [root@hadoop151 usr]$ service mysql restart
    [root@hadoop151 usr]$ mysql -uroot -p000000
    mysql > show variables like '%char%'
    +--------------------------+----------------------------+
    | Variable_name            | Value                      |
    +--------------------------+----------------------------+
    | character_set_client     | utf8                       |
    | character_set_connection | utf8                       |
    | character_set_database   | utf8                       |
    | character_set_filesystem | binary                     |
    | character_set_results    | utf8                       |
    | character_set_server     | utf8                       |
    | character_set_system     | utf8                       |
    | character_sets_dir       | /usr/share/mysql/charsets/ |
    +--------------------------+----------------------------+

安装Hive


  1. 解压并重命名

    [hadoop@hadoop151 software]$ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/
    [hadoop@hadoop151 module]$ mv apache-hive-1.2.1-bin/ hive
  2. 将MySQL驱动拷贝到“hive/lib”目录下。

    [hadoop@hadoop151 mysql-connector-java-5.1.27]$ cp mysql-connector-java-5.1.27-bin.jar /opt/module/hive/lib/
  3. 在“hive/conf”目录下重命名“hive-env.sh.template”并修改其中内容。

    [hadoop@hadoop151 conf]$ mv hive-env.sh.template hive-env.sh
    [hadoop@hadoop151 conf]$ vim hive-env.sh
    HADOOP_HOME=/opt/module/hadoop
    export HIVE_CONF_DIR=/opt/module/hive/conf
  4. 在“hive/conf”目录下重命名“hive-log4j.properties.template”文件

    [hadoop@hadoop151 conf]$ mv hive-log4j.properties.template hive-log4j.properties
    [hadoop@hadoop151 conf]$ vim hive-log4j.properties
    hive.log.dir=/opt/module/hive/logs
  5. 在“hive/conf”目录下新建hive-site.xml文件,配置Metastore到MySQL。

    [hadoop@hadoop151 conf]$ vim hive-site.xml
    javax.jdo.option.ConnectionURLjdbc:mysql://hadoop151:3306/metastore?createDatabaseIfNotExist=trueJDBC connect string for a JDBC metastorejavax.jdo.option.ConnectionDriverNamecom.mysql.jdbc.DriverDriver class name for a JDBC metastorejavax.jdo.option.ConnectionUserNamerootusername to use against metastore databasejavax.jdo.option.ConnectionPassword000000password to use against metastore databasehive.cli.print.headertruehive.cli.print.current.dbtruehive.metastore.schema.verificationfalse
  6. 在“hive/bin”目录下初始化MySQL和Hive

    [hadoop@hadoop151 bin]$ ./schematool -initSchema -dbType mysql
  7. 进入MySQL,修改“metastore”数据库。

    mysql> use metastore;
    /* 修改表字段注解和表注解 */
    alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
    alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
    /* 修改分区字段注解 */
    alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
    alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;
    /* 修改索引注解 */
    alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

配置Tez作为Hive的计算引擎

Tez是Apache开源的支持DAG作业的计算框架,它直接源于MapReduce框架,核心思想是将Map和Reduce两个操作进一步拆分,即Map被拆分成Input、Processor、Sort、Merge和Output, Reduce被拆分成Input、Shuffle、Sort、Merge、Processor和Output等,这样,这些分解后的元操作可以任意灵活组合,产生新的操作,这些操作经过一些控制程序组装后,可形成一个大的DAG作业。
  1. 解压并重命名。

    [hadoop@hadoop151 software]$ tar -zxvf apache-tez-0.9.1-bin.tar.gz -C /opt/module/
    [hadoop@hadoop151 module]$ mv apache-tez-0.9.1-bin/ tez-0.9.1
  2. 在“hive-env.sh”文件中添加tez环境变量配置和依赖包环境变量配置。

    export TEZ_HOME=/opt/module/tez-0.9.1
    export TEZ_JARS=""
    for jar in `ls $TEZ_HOME |grep jar`; do
        export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/$jar
    done
    for jar in `ls $TEZ_HOME/lib`; do
        export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/lib/$jar
    done
    export HIVE_AUX_JARS_PATH=/opt/module/hadoop/share/hadoop/common/hadoop-lzo-0.4.20.jar$TEZ_JARS
  3. 在“hive-site.xml”文件中添加如下配置,更改hive计算引擎。

    hive.execution.enginetez
  4. 在Hive的“/opt/module/hive/conf”下面创建一个tez-site.xml文件。

    [hadoop@hadoop151 conf]$ vim tez-site.xml
    tez.lib.uris${fs.defaultFS}/tez/tez-0.9.1,${fs.defaultFS}/tez/tez-0.9.1/libtez.lib.uris.classpath${fs.defaultFS}/tez/tez-0.9.1,${fs.defaultFS}/tez/tez-0.9.1/libtez.use.cluster.hadoop-libstruetez.history.logging.service.classorg.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService
  5. 将“/opt/module/tez-0.9.1”上传到HDFS的/tez路径。

    [hadoop@hadoop151 conf]$ hadoop fs -mkdir /tez
    [hadoop@hadoop151 conf]$ hadoop fs -put /opt/module/tez-0.9.1/ /tez
  6. 修改“hadoop/etc/hadoop”目录下的yarn-site.xml文件,避免遇到运行Tez时检查到用过多内存而被NodeManager杀死进程问题。 修改完yarn-site.xml文件后分发到各集群上

    yarn.nodemanager.vmem-check-enabledfalse
  7. 启动hive,在hive中建库建表插入数据测试(记得要启动hadoop集群)。

    [hadoop@hadoop151 bin]$ ./hive

以上就是《11. 安装Hive及MySQL》的详细内容,更多关于mysql的资料请关注golang学习网公众号!

声明:本文转载于:SegmentFault 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>
评论列表