编程教育资源分享平台

网站首页 > 后端开发 正文

Hive的连接和运行模式 hive运行机制流程

luoriw 2024-04-04 12:51:05 后端开发 11 ℃ 0 评论

Hive的连接

启动hadoop的时候将history也启动,如果出问题,可以方便我们后续定位


首先将Hive变成对外开放

启动hiveserver2

我们查看下

如果杀掉需要用kill -9 PID的方式

启动beeline

查看帮助信息

简单使用下,和mysql中显示一样

官网

我们往下拉

!connect jdbc:hive2://localhost:10000

我们直接使用root登录,不被允许

User: root is not allowed to impersonate root(state=08S01,code=0)

错误原因是

在core-site.xml中,有一个配置

这个地方可以理解为

hadoop.proxyuser.xxx.hosts和hadoop.proxyuser.xxx.groups

xxx设置为root(即你的错误日志中显示的User:xxx为什么就设置为什么)

“*”表示可通过超级代理“xxx”操作hadoop的用户、用户组和主机


主要原因是hadoop引入了一个安全伪装机制,使得hadoop 不允许上层系统直接将实际用户传递到hadoop层,而是将实际用户传递给一个超级代理,由此代理在hadoop上执行操作,避免任意客户端随意操作hadoop


而hadoop内部还是延用linux对应的用户和权限。即你用哪个linux用户启动hadoop,对应的用户也就成为hadoop的内部用户


修改core-site.xml(我之前这个地方写的其它用户)

重新连接

退出

登录之后,可以使用一些命令

JDBC连接

我们新建项目执行代码

执行代码

我们看hive中,已经新建了表格,其它语句可以完成官网示例,不再一一练习

Hive的运行模式

依据Hive的安装和metastore的设置机器,分为下面三个模式:

嵌入模式:使用自带的derby数据库

本地模式:将metastore放在mysql,并且mysql和hive安装在同一台机器上

远程模式:将metastore放在mysql,并且mysql和hive安装在不同一台机器上

其中配置远程的配置文件是

配置内容是

指定hive连接数据库(mysql所在的机器)

端口号默认是9083

也可以启动服务:bin/hive –service metastore &(不建议这种方式)

有时候我们发现hive会跑mapreduce有时候不会,那是因为fetch模式

在hive-site.xml.template中

None模式

不管写什么SQL都会跑mapreduce

Minimal模式

当select*、针对分区字段进行过滤、以及limit不会跑mapreduce

More模式

当select*、过滤、以及limit不会跑mapreduce

虚拟列

官网

我们查询下

进入db_deptemp,执行语句

select *, INPUT__FILE__NAME,BLOCK__OFFSET__INSIDE__FILE from emp;

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表
最新留言