Hive表DDL操作（二）第1关：Create/Drop/Alter 视图
Hive表DDL操作（二）第1关：Create/Drop/Alter 视图
数据处理生产环境_利用MurmurHash3算法在Spark和Scala中生成随机颜色
生产环境中的前端轨迹是没有颜色的，我这边作为数据工程的应用层，必须支撑给不同的编号 数据一个随机颜色，如果数据中编号一样了，也要支持同一颜色目标是同一种随时颜色。此代码定义了一个函数，使用MurmurHash3算法根据输入的种子生成随机颜色。代码主要功能是使用自定义的函数（UDF）将这个函数应用到D
深入理解Kafka3.6.0的核心概念，搭建与使用
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流
Hive创建分区表并插入数据
静态分区在插入数据时要指定分区名，支持load、insert两种插入方式，主要用于分区少，分区名可以确定的情况。
Linux虚拟机系统Ubuntu搭建Hadoop集群
大学生大数据实验亲手实操笔录，希望可以帮助到大家。
kafka、zookeeper、flink测试环境、docker
kafka、zookeeper、flink测试环境
Flink学习笔记（二）：Flink内存模型
Flink JVM 进程的进程总内存（Total Process Memory）包含了由 Flink 应用使用的内存（Flink 总内存）以及由运行 Flink 的 JVM 使用的内存。Flink 总内存（Total Flink Memory）包括 JVM 堆内存（Heap Memory）和堆外内存
解决一些hive中的一些错误和解决方式
2. 初始化元数据库(derby) bin/schematool -dbType derby -initSchema。hadoop和hive的两个guava.jar版本不一致。删除低版本的那个，将高版本的复制到低版本目录下。1. hive 启动。
HBase Java API编程实践
在弹出的“JAR Selection”界面中（如下图所示），进入到“/usr/local/hbase/lib”目录，选中该目录下的所有jar文件，一共有111个jar文件（注意，不要选中ruby目录），然后，点击界面底部的“确定”按钮。然后，如下图所示，点击界面中的运行图标右侧的“倒三角”，在弹出的
HDFS编程实践(Hadoop3.1.3)
Hadoop 分布式文件系统是Hadoop核心组件之一。介绍Linux操作系统中关于HDFS文件操作的常用Shell命令，利用Web界面查看和管理Hadoop文件系统，以及利用Hadoop提供的Java API进行基本的文件操作。解决File hdfs://localhost:9000/user/h
记一次Kafka重复消费解决过程
而且kafka消息拉取参数max-poll-records设置了500，意味着一次会批量拉取500条消息到本地处理，而max.poll.interval.ms参数默认是5分钟，当500条消息处理时长超过5分钟后，就会认为消费者死掉了，触发再均衡，导致同一个消息被重复消费。，一次拉取数据的最大数据量，
2024（20届）数据科学与大数据专业毕业设计选题合集
数据科学与大数据专业毕业设计选题合集涵盖了管理系统、小程序、深度学习、机器学习、算法、人工智能、大数据、网络安全、嵌入式、推荐系统、目标检测等多个热门领域。对于计算机专业、软件工程专业、人工智能专业、通信工程专业的毕业生而言，选择一个合适的毕业设计选题至关重要。在这个毕业设计选题合集中，我们精心收集
计算机毕业设计 基于Hadoop的物品租赁系统的设计与实现 Java实战项目 附源码+文档+视频讲解
随着网络的飞速发展，网络技术的应用越来越广泛，而信息技术的飞速发展，计算机管理系统的优势也逐渐体现出来，大量的计算机电子信息已经进入千家万户。物品租赁系统已跟随信息时代的重要代表，由于涉及的数据量大，以往人工管理已难以维护，因此采用信息技术进行管理。计算机系统管理模式代替了人工管理的方式，比以往人工
Java从入门到熟悉的48道练习题[完结]
System.out.println("请输入第一个整数：");System.out.println("请输入第二个整数：");System.out.println("请输入你要查找的名字");System.out.println("恭喜您，找到了，在第" + (index1 + 1) + "位")
zookeeper全分布安装
1.zookeeper：一个领导者（leader），多个跟随者（follower）组成的集群2.集群中只要有半数以上节点存活，zookeeper集群就能正常服务3.全局数据一致：每个Server保存一份相同的数据副本，Client无论连接到哪个Server，数据都是一致的4.更新请求顺序进行，来自同
HBase中的列族概念
作者：禅与计算机程序设计艺术 1.背景介绍Apache HBase是一个开源的分布式 NoSQL 数据库，它是 Hadoop 的子项目。HBase 是 Apache Hadoop 中用于存储非结构化数据（即 NoSQL）的一种行列式存储数据库。其核心功能包括：海
Spark-SQL连接JDBC的方式及代码写法
Spark-SQL连接JDBC的方式及代码写法
搭建ELK+Filebead+zookeeper+kafka实验
20.0.0.56的配置文件。这边不演示了,参考前面的博客。20.0.0.57配置文件。
[shell,hive] 在shell脚本中将hiveSQL分离出去
将Hive SQL语句写在单独的.hql文件中，然后在shell脚本中调用这些文件来执行Hive查询。这样可以将SQL语句与shell脚本分离，使代码更加清晰和易于维护。
大数据基础设施搭建 - Hadoop
代理配置：hadoop.proxyuser.hadoop.hosts必须配，hadoop.proxyuser.hadoop.groups和hadoop.proxyuser.hadoop.users至少配置一个。hadoop.proxyuser.hadoop.hosts和hadoop.proxyuse
