全国范围2012-2022年POI数据集(shp格式)

中国五批国家级非物质文化遗产空间分布数据集是基于国务院2006、2008、2011、2014和2021年先后五次发布的3610个国家级非物质文化遗产代表性项目名录,按申报地区或单位的空间地理位置研发的数据集。该数据集包括3610个非遗项目的地理位置、编号、名称、类别、公布时间、类型、申报地区或单位、

9、Elasticsearch7.6.1 ES与HDFS相互转存数据-ES-Hadoop

ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具,可以让数据在Elasticsearch和Hadoop之间双向移动,无缝衔接Elasticsearch与Hadoop服务,充分使用Elasticsearch的快速搜索及Hadoop批处理能力,实现交互式数据处理。本

Hive--清除/删除Hive表数据

大数据技术指的是用于处理、分析和管理大规模数据集的技术和工具。随着互联网和物联网的普及,数据量不断增大,对数据的处理和分析需求也日益增加,大数据技术应运而生

大数据入门之Presto/Trino

Presto是由Facebook开发的分布式sql查询引擎,用来进行高速、实时的数据查询。

JAVA中Kafka配置

【代码】JAVA中Kafka配置。

hadoop -- Yarn资源管理

Container是YARN中的资源抽象,它封装了某个节点上的多维度资源,如内存、CPU、磁盘、网络等,当AM向RM申请资源时,RM为AM返回的资源便是用Container表示。NM是每个节点上的资源和任务管理器,一方面,它会定时地向RM汇报本节点上的资源使用情况和各个Container的运行状态;

【中间件】RabbitMQ 自定义重试次数(针对同一模块不同消费者)

最近遇到了关于 RabbitMQ 的问题,打比方说:某个微服务模块中,RabbitMQ 的大部分消费者需要重试两次,而小部分消费者由于特殊原因并不需要进行重试。这就涉及到自定义重试次数的话题了,但在网上找了一圈没发现相关的,但是功夫不负有心人,最后还是解决了这个问题,接下来给大家分享一下~

zookeeper集群启停及状态查看脚本(linux)

zookeeper基本脚本

Kafka消费者详解

Kafka消费者详解

Doris 入门:高级特性(四)

目录一、表结构变更二、Rollup三、增大内存四、修改超时时间五、Broadcast/Shuffle Join六、数据模型七、索引八、物化视图九、动态分区十、数据导出十一、Colocation Join十二、SQL 函数一、表结构变更添加列:alter table table1 add column

Hive(23):Select高级查询之SORT/ORDER/CLUSTER/DISTRIBUTE BY

order by会对输入做全局排序,因此只有一个reducer,会导致当输入规模较大时,需要较长的计算时间。sort by不是全局排序,其在数据进入reducer前完成排序。因此,如果用sort by进行排序,并且设置mapred.reduce.tasks>1,则sort by只保证每个reduce

Failed to send data to Kafka

kafka 异常

elasticsearch 之 updateByQuery

elasticsearch 之 updateByQuery ,通过script脚本完成对文档字段的更新

SpringBoot——》@KafkaListener

SpringBoot——》@KafkaListener

logstash连接elasticsearch被拒绝,如何解决-

账号密码都配置正确了,但是还是连接不上。

大数据Flink(五十二):Flink中的批和流以及性能比较

Spark和Flink全部都运行在Hadoop YARN上,性能为Flink > Spark > Hadoop(MR),迭代次数越多越明显,性能上,Flink优于Spark和Hadoop最主要的原因是Flink支持增量迭代,具有对迭代自动优化的功能。也即是有明确的开始和结束的定义。注入的顺序不是必须

Java使用poi-tl生成word模板-动态数据列表

Java使用poi-tl生成word模板-动态数据列表

RabbitMQ之延迟队列

​ 延时队列在需要延时处理的场景下非常有用,使用 RabbitMQ 来实现延时队列可以很好的利用 RabbitMQ 的特性,如:消息可靠发送、消息可靠投递、死信队列来保障消息至少被消费一次以及未被正 确处理的消息不会被丢弃。另外,通过 RabbitMQ 集群的特性,可以很好的解决单点故障问题,不会

Prometheus之rabbitmq监控指标详解

rabbitmq_messages_deliver_no_ack_rate指标可以帮助您了解未确认消息的数量和速率,并确定是否需要更改客户端消费者的配置或调整队列和交换机的配置以改善系统性能。与"rabbitmq_queue_messages_ready"指标不同的是,它不是单个队列的指标,而是Ra

[Docker]使用Docker部署Kafka

Kafka 是一个分布式流处理平台,它依赖于 ZooKeeper 作为其协调服务。在 Kafka 集群中,ZooKeeper 负责管理和协调 Kafka 的各个节点。因此,要在 Docker 容器中启动 Kafka,通常需要同时启动一个 ZooKeeper 服务作为其依赖。可以按照以下步骤来启动 K

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈