centos7下Hadoop集群的mysql5.7以及hive3.1搭建——包对的！
centos7下Hadoop集群的mysql5.7以及hive3.1搭建
大数据 - Doris系列《四》- Doris常用函数
本文主要介绍doris的常用函数
**开源亮点：spark-lucenerdd —— 强化搜索与链接的Apache Spark之利器**
开源亮点：spark-lucenerdd —— 强化搜索与链接的Apache Spark之利器项目地址:https://gitcode.com/zouzias/spark-lucenerdd在大数据处理与分析的世界里，Apache Spark凭借其高效、灵活的特点成为了行业内的明星工具。然而，在海量
Kafka初学
📈 锲而舍之，朽木不折；锲而不舍，金石可镂。—— 荀况。
ELK+Filebeat+kafka+zookeeper构建海量日志分析平台
ELK 是ElasticSearch开源生态中提供的一套完整日志收集、分析以及展示的解决方案，是三个产品的首字母缩写，分别是ElasticSearch、Logstash 和 Kibana。除此之外，FileBeat也是目前使用较多的日志收集软件，相对于Logstash更加轻量级占用资源更少。Elas
AI发展核心要素之一（存储、算例、大数据、电力、政策与资本）
AI发展核心要素之一浅说
Hive on spark源码编译与调优
一般生产环境NN和RM吃资源少的会单独配置，而工作节点会单独配置资源较多，例如Master节点配置为16核CPU、64G内存；Workder节点配置为32核CPU、128G内存，五台服务器如下所示hadoop100hadoop101hadoop102hadoop103hadoop104masterm
HBASE SHELL学习
HBASE SHELL学习
揭秘“湖仓一体”——Flink+Paimon+StarRocks，打造实时分析新纪元
数据湖仓是 Flink 流批一体发挥重要作用的场景,使用 Flink + Paimon + starRocks 来构建湖仓一体数据分析.
小时候的子弹击中了现在的我-hive进阶：案例解析（第18天）
本文主要介绍hive的表操作，内外部表，分区分桶表，hive复杂类型，Hive乱码解决。
docker容器启动rabbitmq
docker容器启动rabbitmq
【AI大数据计算原理与代码实例讲解】Kafka
【AI大数据计算原理与代码实例讲解】Kafka1. 背景介绍1.1 大数据时代的到来随着互联网、物联网和云计算的快速发展,海量的数据正以前所未有的规模和速度被生成。这些数据来自于各种来源,如社交媒体、移动设备、传感器等
Hadoop 原理与代码实例讲解
Hadoop 原理与代码实例讲解1. 背景介绍1.1 大数据时代的到来随着互联网、移动设备和物联网的快速发展,数据的产生量呈现出爆炸式增长。根据国际数据公司(IDC)的预测,到2025年,全球数据量将达到175ZB(1ZB=1万亿G
Spring Boot整合RabbitMQ
当消息在一个队列中变成死信（dead message）之后，它能被重新发送到另一个交换机中，这个交换机就是DLX ，绑定DLX的队列就是死信队列。一般在生产中，先启动消费者服务，再启动生产者服务，因此我们通常把配置类放在消费者服务中，否则可能导致无队列监听而服务启动失败或报错。DLX也是一个正常的交
大数据复习练习
CAP是一致性（Consistency）、可用性（Availability）和分区容错性（Partition Tolerance）。NameNode：hadoop中的主服务器，管理文件系统名称空间和对集群中存储的文件的访问，保存有元数据。DataNode：负责管理连接到节点的存储。每个存储数据的节点
hive调优原理详解：案例解析参数配置(第17天）
本文主要详解hive调优，案例解析。
hive sql执行优化策略集合
mapred.min.split.size.per.node和mapred.min.split.size.per.rack含义是单节点和单机架上的最小split大小。set hive.exec.max.dynamic.partitions.pernode=1000 （默认1000）表示每个maper
Window系统下安装、配置、使用Kafka
Window系统下安装、配置何使用KafKa
【大数据 复习】第1章 大数据概述
9.大数据、云计算和物联网代表了IT领域最新的技术发展趋势,三者相辅相成,既有联系又有区别。过去重因果，有因有果，但是现在注重相关性，你买了车，那我才不管你对屁股垫有没有兴趣，我先给你推了，万一你有了呢，万一你看见了才有了呢？要多不要精了，因为数据实在是太多了，有了大数据后，完全可以直接针对全局数据
Hadoop核心技术知识总结
Hadoop核心技术的课程总结主要涵盖了Hadoop的基本概念、核心技术模块以及其在大数据处理领域的优势和应用。首先，Hadoop是一个由Apache基金会开发的分布式系统基础架构，主要用于解决大数据集的存储和计算分析问题。它使用Java语言开发，具有跨平台性，并且是开源的。Hadoop运行在廉价机
