Windows环境下Elasticsearch的下载与安装
elasticsearch-service.bat后面还可以执行这些命令。三、ElasticSearch安装为Windows服务。npm run start，运行；Elasticsearch服务。
spring boot rabbitmq 如何保持顺序消费
在消费消息时，先从消息中提取出消息 ID，然后根据分片规则计算出当前消费者线程负责的分片编号，如果当前线程负责的分片与消息所在分片相同，则处理该消息。要保证消息的顺序，需要在分片规则上做额外的处理，确保分片规则是有序的，然后让每个消费者只消费自己所负责分片的消息。单线程消费：使用一个线程消费消息，因
大数据云平台设计与实现
作者：禅与计算机程序设计艺术 1.简介随着互联网应用的爆炸式增长、用户群体的日益壮大，传统的单机部署方式已经不能满足用户对高并发、海量数据的需求。基于互联网环境，各种大数据分析框架如MapReduce、Spark等被提出。但是这些框架均是在一台服务器上运行，无法
RabbitMQ的5种模式——再探RabbitMQ的模式，简单、工作，发布订阅（广播），路由、主题 & 页面分析
本篇博客结合场景来阐述RabbitMQ的几种模式，描述了不同模式的应用场景，并给出相应的代码。
【数据仓库-零】数据仓库知识体系 ing
数据仓库体系，了解数仓技能全貌
利用JAVA代码将本地文件传入HDFS中
先创建hdfs存储路径作为输出流，然后把本地文件存储路径作为输入流，利用copyBytes方法将本地文件上传到hdfs输出流的路径就大功告成了！在 C:\Windows\System32\drivers\etc 中修改hosts文件，将虚拟机的hostname和ip写在文件底部。2.在系统变量里配置
开源多组件数据中台整体框架设计
数据时代已来！！给大家推荐一款经过实战检验的数据中台框架，零成本搭建，可以实现数据采集、数据转换、数据服务能数据中台通用功能。
Understanding Kafka Internals: A Distributed Messaging
作者：禅与计算机程序设计艺术 1.简介Kafka是一个开源分布式发布-订阅消息系统，由LinkedIn开发并开源。它是一个高吞吐量、低延迟的分布式传输平台，其设计目标是处理实时数据 feeds 。作为一个异步消息队列，Kafka提供了易于使用的接口和功能，能够轻
Flink将数据写入MySQL(JDBC)
在实际的生产环境中，我们经常会把Flink处理的数据写入MySQL、Doris等数据库中，下面以MySQL为例，使用JDBC的方式将Flink的数据实时数据写入MySQL。
大数据智能决策系统架构：决策系统与物联网
作者：禅与计算机程序设计艺术 1.简介大数据时代已经到来了，基于海量数据的价值不断被充分发挥。数据的生成、采集、处理、分析等环节对企业而言越来越重要。如何将这些数据应用于决策中是一个重要课题。在这种情况下，如何建立一个高效、准确、智能的决策系统，成为我们绕不过的
Python大数据之PySpark(五)RDD详解
📢本文由 Maynor 原创，首发于 CSDN博客🙉。分区个数getNumberPartitions。📢感觉这辈子，最深情绵长的注视，都给了手机⭐。分区内元素glom().collect()PySpark中RDD的创建两种方式。扩展阅读：RDD分区数如何确定。WordCount中RDD。RDD
【大数据基础平台】星环TDH社区开发版单机部署
TDH企业级一站式大数据基础平台致力于帮助企业更全面、更便捷、更智能、更安全的加速数字化转型。通过数年时间的打磨创新，已帮助数千家行业客户利用大数据平台构建核心商业系统，加速商业创新。为了让大数据技术得到更广泛的使用与应用从而创造更高的价值，依托于TDH强大的技术底座，星环科技推出TDH社区版（Tr
视频号直播信用分总被扣？如何提高信用分？
随着视频号的规则愈加完善，许多主播经常在直播的时候被扣除信用分，以至于直播被限流、禁播等。许多用户还不太明白直播信用分是什么，为什么会被扣除信用分，又要如何恢复提高呢？如何查看直播信用分？用户进入视频号后，点击【创作者中心】，到【创作者服务】，再点击【违规查询】，再点击【直播】，即可查看自己的直播信
24、Flink 的table api与sql之Catalogs（java api操作数据库、表）-2
1、Flink 部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink 的table api与sql的基本概念、通用api介绍及入门示例14、Flink 的table api与sql之数据类型: 内置数据类型以及它们的属性1
MySQL到TiDB：Hive Metastore横向扩展之路
本文介绍了vivo在大数据元数据服务横向扩展道路上的探索历程，由实际面临的问题出发，对当前主流的横向扩展方案进行了调研及对比测试，通过多方面对比数据择优选择TiDB方案。其次分享了整个扩展方案流程、实施遇到的问题及解决方案，对于在大数据元数据性能上面临同样困境的开发者本篇文章具有非常高的参考借鉴价值
RabbitMQ简单使用
RabbitMq是一个消息中间件：它接收消息、转发消息。你可以把它理解为一个邮局：当你向邮箱里寄出一封信后，邮递员们就能最终将信送到收信人手中。生产者只发送消息，发送消息的程序即为生产者：消息队列就相当于RabbitMq中的邮箱，消息存储在消息队列中。队列本质上是一个大的消息缓存，它能存多少消息，取
Centos7系统下搭建Hadoop 3.3.6
Centos7系统下搭建Hadoop 3.3.6(包括jdk的安装)
flink k8s sink到kafka报错 Failed to get metadata for topics
- 解决方法: consumer的配置中 添加下面参数解决: com.tuya.flink.EnergyMeteringMontior.Drive#buildKafkaProducer。// heartbeat.interval.ms 默认3s。// session.timeout.ms 默认10
zookeeper未授权漏洞复现及处理
不知道你有没有注意，zk服务端启动后，默认会启动这几个具有world和cdrwa权限的znode，“/” "/zookeeper" "/zookeeper/config"和"/zookeeper/quota"（根据zookeeper的版本不同可能存在不同，并且这几个节点虽然具有world和cdrwa
头歌平台，大数据实验五，spark安装
spark环境安装第一关mkdir /app //创建 app 目录cd /opttar -zxvf scala-2.12.7.tgz -C /app vi /etc/profile #set scalaSCALA_HOME=/app/scala-2.12.7export PAT
