hive架构详解：HQL案例解析(第15天)
本文主要详解Hive基础架构，Hive数据库,表操作，Hadoop架构详解(hdfs)，Hive环境准备。
kafka生产者消费者举例
Kafka是一款分布式流处理平台，它被设计用于高吞吐量、持久性、分布式的数据流处理。Kafka 简介Kafka 是一个高吞吐、分布式、基于发布订阅的消息系统。Kafka 具有高吞吐量、低延迟、可扩展性、持久性、可靠性、容错性、高并发等特性。Kafka 应用场景日志收集：公司可以使用 Kafka 收集
Hive环境配置以及安装步骤
以上步骤是一个基本的Hadoop集群安装和配置流程，具体细节可能因环境差异和版本不同而有所调整。在实际操作中，建议参考Hadoop官方文档和相关教程进行安装和配置。以上步骤仅供参考，具体安装和配置过程可能因环境和需求的不同而有所差异。在实际操作中，建议参考Hive官方文档和相关教程进行安装和配置。
【Unity】Kafka、Mqtt、Wesocket通信
最近研究了下kafka、mqtt、webocket插件在Unity网络通信中的应用，做下小总结吧。
大数据——Zookeeper安装、启动、操作命令（一）
在大数据中，几乎所有的框架，它的安装都提供了三种模式单机模式：在一台服务器上安装，往往能够启动这个框架的部分服务伪分布式：在一台服务器上安装，但是利用多个线程模式分布式环境，能够启动这个框架的大部分甚至于服务分布式：在集群上安装，能够启动这个框架的所有服务现阶段，先安装单机模式，搞定所有的概念之后，
从了解到掌握 Spark 计算框架（一）Spark 简介与基础概念
Spark 是一个基于内存的分布式计算框架，最初由加州大学伯克利分校的 AMPLab 开发，后来捐赠给了 Apache 软件基金会。它提供了一个高效、通用、可扩展且易用的大数据处理平台，支持各种类型的应用，包括批处理、实时流处理、机器学习和图处理等。
大数据技术原理及应用课实验8 ：Flink初级编程实践
在本次实验中，主要是学习掌握基本的Flink编程方法编写Flink程序的方法以及对大数据的基础编程技能进行巩固。并且还学习了Flink的基本原理和运行机制，还通过具体的代码实现，了解到Flink程序的编写步骤和注意事项。此外，还学会了如何使用IntelliJ IDEA工具进行Flink程序的编写和调
【Kafka】 幂等和事务详解
Kafka幂等和事务详解
数据仓库数据集成开源工具
数据集成是数据仓库建设的重要环节，开源工具在这一领域提供了许多强大的解决方案。以下是一些常见的开源数据集成工具，它们各自有独特的功能和特点：
RabbitMQ架构详解
RabbitMQ是⼀个高可用的消息中间件，支持多种协议和集群扩展。并且支持消息持久化和镜像队列，适用于对消息可靠性较高的场合官网https://www.rabbitmq.com/getstarted.html。
【大数据离线项目二：数仓数据传输工具--DataX的使用】
数仓工具Data X 的使用！使用DataX是如何进行数据的传输也就是说怎么从mysql或者是SQLserver数据库将数据传输到hive数仓中！Data X怎么使用！数据的同步方式！
Kafka 实战 - 指定分区和偏移量，时间消费
总结来说，通过上述方法，Kafka 消费者可以在实战中灵活指定分区、偏移量或基于时间戳进行消息消费，以满足各种复杂的应用场景需求。在实际操作时，需要根据业务特点、数据一致性要求以及 Kafka 集群配置进行合理选择和调整。在 Apache Kafka 中，消费者可以通过指定分区和偏移量来精确控制消息
RabbitMQ不完整的笔记
Direct交换机与Fanout交换机的差异？
基于Hive进行聊天数据分析案例实践
聊天平台每天都会有大量的用户在线，会出现大量的聊天数据，通过对聊天数据的统计分析，可以更好的对用户构建精准的用户画像，为用户提供更好的服务以及实现高 ROI 的平台运营推广，给公司的发展决策提供精确的数据支撑。项目将基于一个社交平台 App 的用户数据，完成相关指标的统计分析并结合 BI 工具对指标
基于Hadoop的大数据个性化商城推荐系统：使用协同过滤算法实现的推荐原理及实例
个性化推荐系统的目的是根据用户的兴趣、行为等信息，向用户提供个性化的商品推荐，以提高用户的购物体验和商城的销售量。基于Hadoop的商城推荐系统采用协同过滤推荐算法，通过数据集的更新、相似度计算、评分预测和结果保存等步骤实现个性化的商品推荐。推荐原理：每天定时更新数据集，数据集为当然商城中用户的订单
银行数仓项目实战（一）--什么是数据仓库
数据仓库技术是为了有效的把操作型数据集成到统一的环境中以提供决策型数据访问的各种技术和模块的总称，所做的一切都是为了让用户更快更方便查询所需要的信息，提供决策支持。1.数仓管理系统（Data Warehouse Management System，DWMS）：用于管理银行数据仓库的建设，维护和运营，
【MongoDB 新搭档 Kafka】
对于做过数据处理，使用过消息队列的小伙伴 ，Kafka可以算是老朋友了，但是最近一个场景下，新的用法，让其变为了MongoDB的新搭档。。。MongoDB配合Kakfa，在有些场景下，十分有益。但这种做法其实优缺点也比较明显，优点 ，减轻数据库负担，订阅容量增大， 横向扩容能力变强。缺点，也显而易见
数据挖掘技术的未来趋势：智能化与大数据
1.背景介绍数据挖掘(Data Mining)是一种利用统计学、机器学习、数据库、人工智能等多学科知识和方法来从大量数据中发现新的、有价值的信息和知识的科学。数据挖掘技术的发展与大数据时代的兴起是相互关联的。随着互联网、人工智能、物联网等技术的不断发展，数据量不断增加，数据挖掘技术也不断发展和进步。
Ranger+hive 实现hive权限管控
Apache Ranger是一个用来在Hadoop平台上进行监控，启用服务，以及全方位数据安全访问管理的安全框架。Ranger的愿景是在Apache Hadoop生态系统中提供全面的安全管理。随着企业业务的拓展，企业可能在多用户环境中运行多个工作任务，这就要求Hadoop内的数据安全性需要扩展为同时
