Python小案例(九)PySpark读写数据

有些业务场景需要Python直接读写Hive集群,也需要Python对MySQL进行操作

hive启动报错解决流程

hive启动报错

Hive的Metastore三种配置方式

Hive的Metastore三种配置方式

hive array[bigint]转string

hive array[bigint]转string

hive向上取整、向下取整、保留小数位的函数

hive向上取整向下取整和保留小数位数的函数

hiveSql冷门但好用函数 --持续更新

hiveSql冷门但好用函数 --持续更新

Hive limit 和 offset 的用法

如果数据量大需要限制数量,只看部分数据,那么 LIMIT 和 OFFSET 子句就非常用有。LIMIT 可以减少要返回的行数,而 OFFSET 将指定从何处开始计算行数。本文例子中使用的数据是筛选指定字段中的数据内容。

为什么Paimon值得期待?

前段时间 Flink table store 更名为 Apache Pimon ,并重新进入Apache incubator。截止目前,incubator-paimon项目已经在github上收获了600+ Star(https://github.com/apache/incubator-paimo

安装Hive

安装Java环境:Hive需要Java环境支持,所以需要先安装Java。安装文档:http://t.csdn.cn/deBJu。

jdbc通过kerberos认证连接hive

jdbc通过kerberos认证连接hive

【大数据之Hive】三、Linux下安装MySQL8.0.33

解决方法:用yum直接下载。

Hive报错org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

SQL 经典面试题:统计最近七天连续三天活跃的用户

给定 mid,dt 的用户登录记录表,查找最近 7 天内连续 3 天活跃的用户 id,实现思路:获取最近 7 天的用户登录记录数据(在 where 中限定),对数据进行 rank 排序...

Dbeaver连接Hive数据库操作指导

由于工作需要,当前分析研究的数据基于Hadoop的Hive数据库中,且Hadoop服务端无权限进行操作且使用安全模式,在研究了Dbeaver、Squirrel和Hue三种连接Hive的工具,在无法绕开useKey认证的情况下,只能使用DBeaver工具进行远程连接。

Hive数据表删除数据操作

Hive数据表删除数据操作

sqoop把hive中的数据导入mysql

使用sqoop将hive中的数据导入mysql中记录简单案例首先开启集群:start-all.sh在hive中建库建表,并插入一条数据来为自己做实验:验证一下,是否插入成功:在mysql中建表,并且要与hive中传过来的数据字段相对应:建表后为空:用sqoop将hive中的数据传到mysql中:ex

hive中日期和字符串的转换

hive中日期和字符串之间的转换

hive--执行计划

来聊一聊执行计划,如果掌握了MapReduce,且开发者有一定的经验积累可以反推Compiler将SQL转换的MapReduce执行算法,并借助explain来比对你构思的执行计划和实际生成的执行计划是否存在差异,并思考差异的原因是啥,慢慢就能够对生成的算法以及算法执行路径图是否合理给出一个自己的评

Hive入门详解操作

FaceBook网站每天产生海量的结构化日志数据,为了对这些数据进行管理,并且因为机器学习的需求,产生了hive这门技术,并继续发展成为一个成功的Apache项目。hive是一个构建在Hadoop上的数据仓库工具(框架),可以将结构化的数据文件映射成一张数据表,并可以使用类sql的方式来对这样的数据

Hive 根据日期计算周数以及周几

余数就是周几(0~6),0 代表周日。示例:求日期。

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈