第十四章 大数据和数据科学
信息收敛三角数据科学数据科学将数据挖掘、统计分析和机器学习与数据集成整合，结合数据建模能力，去构建预测模型、探索数据内容模式。分析对比数据仓库主要用于描述性分析，提供事后的结论数据科学侧重于预测性和规范性分析，旨在为未来提供预测和决策支持。数据仓库关注已发生事情的总结，而数据科学强调对未来的洞察和预
RabbitMq几种工作模式详细讲解
虽然接收的到消息，但是rabbitmq的界面上看到的消息会是乱码，这样就不用必须是String字符串或者byte[]数组和序列化后的对象了。再次发送就会是转换好的消息。发布订阅模式与之前案例的区别就是允许将同一消息发送给多个消费者。实现方式是加入了exchange(交换机)，当然，还有其他很多种模式
Linux CentOS安装Hadoop3.1.3（单机版）详细教程
Hadoop是一个开源的分布式计算框架，主要用于大数据处理。它包括HDFS分布式文件系统和MapReduce计算模型，能够高效地存储和处理大规模数据集，广泛用于数据挖掘、分析和机器学习。
基于Kafka的大数据实时流处理系统设计与实现
在实际应用中，企业可以根据自身业务需求和数据特点选择合适的系统架构和数据处理方案，以实现数据的快速响应和智能分析。同时，还需要关注数据安全和隐私保护等方面的问题，确保数据在传输和处理过程中的安全性和完整性。本文将深入探讨Kafka在构建实时数据流处理系统中的作用，并介绍如何实现高效的数据传输和处理，
flink on yarn 部署方案
FLINK ON YARN 3种部署方式：在生产中建议使用 Per-job 或 Application Mode 模式部署 Flink 应用程序，这些模式为应用程序提供了更好的隔离.一个任务启动一个Flink集群, 各个 Flink 集群之间独立运行, 互不影响, 而且每个集群可以单独进行配置。1、
毕设分享 基于大数据的b站数据分析
本文主要运用Python的第三方库SnowNLP对弹幕内容进行情感分析，使用方法很简单，计算出的情感score表示语义积极的概率，越接近0情感表现越消极，越接近1情感表现越积极。从数据可视化中可以看到，播放量排名前三的分别是生活类、动画类、鬼畜类，让人诧异的是以动漫起家的B站，播放量最多的视频分类竟
RabbitMQ基础有这一篇就够了
RabbitMQ基础内容，包括不同MQ技术对比、数据隔离概念、SpringAMQP、交换机类型、声明队列、交换机以及进行绑定、MQ消息转换器等内容。
Prometheus监控Flink CDC任务
【代码】Prometheus监控Flink CDC任务。
【运维监控】Prometheus+grafana监控zookeeper运行情况
通过zookeeper自带的监控信息暴露出来，然后将数据收集到prometheus中，最后通过grafana的dashboard导入模板进行可视化
RocketMQ&Kafka重试队列
重试的主要流程：1、consumer消费失败，将消息发送回broker；2、broker收到重试消息之后，先存储到定时队列里；3、根据重试次数，经过一定延迟时间后，重新投递到retryTopic;4、consumer会拉取consumerGroup对应的retryTopic的消息；5、consume
大数据-128 - Flink 并行度设置 细节详解 全局、作业、算子、Slot
一个Flink程序由多个Operator组成（Source、Transformation、Sink）。一个Operator由多个并行的Task（线程）来执行，一个Operator的并行Task（线程）数目就被称为该Operator（任务）并行度（Paralle）并行度可以有如下几种指定方式。Flin
大数据-130 - Flink CEP 详解 - CEP开发流程 与 案例实践：恶意登录检测实现
所以，二进制输入完毕，如果满足最终状态，也就是最后停在S1状态，那么输入的二进制数就含有偶数个0。对超时的部分模式序列应用超时函数，对于每个部分模式序列，调用提供的 PatternTimeoutFunction，模式超时函数只能产生一个结果元素。对检测到的序列模式序列应用选择函数，对于每个模式序列，
消息队列面试题
消息队列Message Queue，简称MQ。是一种应用间的通信方式，主要由三个部分组成。Producer：消息的产生者与调用端，主要负责消息所承载的业务信息的实例化，是一个队列的发起方负责，产生和发送消息到 Broker；Broker：消息处理中心，负责消息存储、确认、重试等，一般其中会包含多个
Apache DolphinScheduler大规模任务调度系统对大数据实时Flink任务支持
转载自神龙大侠我是用olphinScheduler 3.2.1版本做源代码编译部署（部署方式参考我的另外一篇文档二进制文件部署本文也适用，只需要修改相对应的配置即可。
基于DPU云盘挂载的Spark优化解决方案
本方案采用云原生架构，Spark采用Spark on Kubernetes部署模式，并且引入DPU为集群之上的容器提供存储服务的卸载和加速，融合了云原生架构与高性能存储的优势。方案整体架构如下图所示：l 存储集群把NVMe存储设备以裸盘方式部署，计算节点通过硬件模拟向宿主机提供标准的nvme/vi
大数据测试怎么做，数据应用测试、数据平台测试、数据仓库测试
大数据，是指一个公司创造或收集的“结构化”、“半结构化”或者“非结构化”的海量数据集合。它的意义不在于掌握的数据量是最大的，而在于能否有效、专业的对这些数据进行加工处理，并让这些海量的、多样化的数据产生最大的价值。
使用offset explorer 3.0连接单机版kafka
使用kafka图形化工具offset explorer 3.0连接单机版的kafka。
推荐开源项目：KafkaRefresh——iOS下拉刷新的魔法棒
推荐开源项目：KafkaRefresh——iOS下拉刷新的魔法棒 KafkaRefreshAnimated, customizable, and flexible pull-to-refresh framework for faster and easier iOS development. 项目地
Confluent Kafka Go 客户端使用指南
Confluent Kafka Go 客户端使用指南 confluent-kafka-goConfluent's Apache Kafka Golang client项目地址:https://gitcode.com/gh_mirrors/co/confluent-kafka-go 项目介绍Confl
spring cloud环境搭建，Eureka集群，Ribbon负载均衡
搭建环境：jdk1.8，Hoxton.SR8，springboot2.2.2，spingcloud
