大数据组件之Hive（Hive学习一篇就够了）
文章目录一、Hive安装1、解压环境2、环境变量配置3、配置文件信息1.打开编辑文件2.输入以下内容4、拷贝mysql驱动5、更新guava包和hadoop一致6、mysql授权7、初始化8、hive启动模式9、Hadoop的core-site.xml配置二、Hive1、Hive的文件结构2、MyS
Mysql 窗口函数
一, MySQl 8.0 窗口函数窗口函数适用场景: 对分组统计结果中的每一条记录进行计算的场景下, 使用窗口函数更好;可以跟Hive的对比着看: 点我, 特么的花了一晚上整理, 没想到跟Hive 的基本一致, 还不因为好久没复习博客了, 淦注意: mysql 因为没有array数据结构, 无法像
Flink HA模式环境搭建
Flink HA安装部署
2022暑期实习字节跳动数据研发面试经历
🌟今天下午面试两家，字节跳动数据研发一面和百度三面，百度那边突然不面了，hr说下个星期再看看，是直接过了还是再来一面，需要和部门商量一下，先来总结一下字节跳动的面试吧。废话，对百度面试感兴趣的同学可以参考如下文章：链接: 2022百度大数据开发工程师实习面试经历.链接: spark学习之并行度、并
Zookeeper会话管理源码深入探讨
深入探讨会话创建、分桶管理、清理和激活原理。
Day548.Kafka相关外部系统整合 -kafka
Kafka相关外部系统整合一、集成 FlumeFlume 是一个在大数据开发中非常常用的组件。可以用于 Kafka 的生产者，也可以用于Flume 的消费者。1、Flume 生产者启动 kafka 集群zk.sh startkf.sh start启动 kafka 消费者bin/kafka-cons
AWS、Azure等国外云计算如何迁移到国内阿里云上?
首先需要了解到云迁移流程：前期调研-制定方案-迁移-运营。这里主要介绍的是如何解决迁移过程中的难点。我从这个问题中看到了两个云迁移的难点：不同云平台之间的异构迁移 用户缺少迁移经验，对迁移流程不够了解那么从这两个难点出发，有什么解决方案呢？其他的方案我就不多介绍了，因为我只介绍我使用过的最好的云迁移
kafka初学(自己觉得好难)
kafka初学一、介绍Kafka是是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统低延迟的实时系统Storm/Spark流式处理引擎web
四种常用的微服务架构拆分方式
微服务架构并无标准架构，不然什么架构师大会也不会各个系统架构百花齐放了。虽然没有固定的套路，却有一些经验，今天就来做一个总结。基于角色拆分这种拆分方式常见于基础设施以及其PaaS层的架构，...
HBase 过滤器
HBase过滤器、比较器
记一次RocketMQConsumer 服务关闭出现InterruptException异常
记一次RocketMQConsumer 服务关闭出现InterruptException异常背景提要出现问题主要还是版本升级老版本核心rocketmq依赖<dependency> <groupId>org.apache.rocketmq</groupId>
hive-SQL学习笔记11
之前有人问我，如何挑出一个月的最大值及其特征，比如有三列，分别是user_id，item_id，time，其中time是停留时长，这个问题就是找出这个用户，他这一行是什么，我当时就懵逼了。我说我直接全部拉下来这个月的数据，然后py操作取最大值即可。。。game overFor Recommendat
几分钟明白Flink水位线
Flink水位线1、Flink中不同的事件概念Processing time（处理时间）： 即事件被机器处理的时间，事件流向某个算子的系统时间Event Time(事件时间）： 事件时间是再某个生产设备上发生时间，指事件进入Flink之前嵌入的时间，通常可以从事件中获取一个时间戳，此时间戳可以用来得
DolphinScheduler无故删除HDFS上的Hive库表目录
亲爱的朋友们，我可爱的同事又搞了个大BUG待我慢慢道来…DolphinScheduler大家应该都用过，中国人开源的一个调度工具，类似Azkaban，本次的事情就是在DolphinScheduler上发生的。据领导描述，某团队负责的某业务数仓上云后，HDFS上的Hive库表目录总是无故被删，他们找不
RabbitMQ搭建
一、环境主机名IP地址操作系统rabbitmq版本mq1192.168.10.180Centos 7rabbitmq3.9.7mq2192.168.10.181Centos 7rabbitmq3.9.7mq3192.168.10.183Centos 7rabbitmq3.9.7二、单机部署1.安装g
2022年春招平均薪资曝光，程序员也羡慕了？
2022年春招平均薪资曝光，程序员也羡慕了？
APM链路监控：pinpoint安装部署实战详细手册
文章目录一、pinpoint介绍1.pinpoint简介2.架构组成二、安装环境准备三、HBase安装四、pinpoint安装1.安装pinpoint-collector2.安装pinpoint-web3.安装pinpoint-agent结尾一、pinpoint介绍1.pinpoint简介pinpo
在蚂蚁森林把逝去的能量抢回（Python实现）
1 蚂蚁森林简介蚂蚁森林是一项旨在带动公众低碳减排的公益项目，每个人的低碳行为在蚂蚁森林里可计为"绿色能量"。"绿色能量"积累到一定程度，就可以用手机申请在生态亟需修复的地区种下一棵真树，或者在生物多样性亟需保护的地区“认领”保护权益。蚂蚁森林在各地的生态修复项目，是由蚂蚁集团向公益机构捐赠资金，由
原来在SpringBoot中是这样引入jar包的，害我调试了两个多小时
最近单位新来了一位程序员。有次，他问我在做SpringBoot如何引入外部依赖jar包，我之前用IntelliJ工具做微服务做项目时也遇到过类似问题，在这里简单总结下。在开发时，我们需要引...
