Java网络编程——客户端Socket
目录第一部分:使用Socket一.数据报二.socket的功能第二部分:了解SOCKET类1.socket类2.构造方法3.常用方法介绍4.DEMO:客户端和服务端通信第三部分:用Telnet研究协议一、了解Telnet二、用Socket从服务器读取1.在终端上用Telnet测试daytime服务器
Rabbitmq交换机模式
Fanout模式Fanout这种类型非常简单。正如从名称中猜到的那样,它是将接收到的所有消息广播到它知道的所有队列中 只要队列和该模式的交换机有绑定关系,该队列都会收到消息 系统中默认有些exchange类型书写fanout生产者代码public class FanoutProducter {
【Flink 实战系列】Flink CDC 实时同步 Mysql 全量加增量数据到 Hudi
Flink CDC 是基于 Flink 开发的变化数据获取组件(Change data capture),简单的说就是来捕获变更的数据,Apache Hudi 是一个数据湖平台,又支持对数据做增删改查操作,所以 Flink CDC 可以很好的和 Hudi 结合起来,打造实时数仓,实时湖仓一体的架构,
【HDFS】权限管理
一文带你了解HDFS的权限管理~~~
flinkcdc抽取oracle数据(oracle cdc详细文档)
flinkcdc集成说明文档、oraclecdc详细文档、全量+增量同步oracle数据
Flume集群安装部署、Kafka集群安装部署以及Maxwell安装部署实战
Flume集群安装部署、Kafka集群安装部署以及Maxwell安装部署实战
ElasticSearch之查询性能分析
一下,怎么在有限的es配置的内存塞数据:写入 es 的数据最好小于等于,或者是略微大于 es 的 filesystem cache 的内存容量。然后你从 es 检索可能就花费 20ms,然后再根据 es 返回的 id 去 hbase 里查询,查 20 条数据,可能也就耗费个 30ms,1T 数据都放
Kafka生产者——消息发送流程,同步、异步发送API
Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中,涉及到了两个线程:main线程和Sender线程,以及一个线程共享变量:RecordAccumulator。①main线程中创建了一个双端队列RecordAccumulator,将消息发送给RecordAccumulat
Spark常见报错与解决方案【三】
原因:数据量太大,内存不够解决方案:(1)增大spark.executor.memory的值,减小spark.executor.cores(2)减少输入数据量,将原来的数据量分几次任务完成,每次读取其中一部分原因:(1)节点上运行的container多,每个任务shuffle write到磁盘的量大
HiveServer2 和 HiveMetastore 梳理
从使用者的角度理解这就够了。,也就是说这已经进入到了Hive的内部设计细节了,设计者设计各种重要的业务实体,抽象各种概念,将不同的职责委派给合适的类,所以回到话题本身,Driver类确实是Hiveserver2中的一个核心的类,组织与串联了SQL提交后到转译为MR作业的关键操作,但是从大的架构层面上
Hive on Tez性能优化
升级到 CDP 后Hive on Tez 性能调整和故障排除指南优化Hive on Tez查询永远不能以一种万能的方法来完成。查询的性能取决于数据的大小、文件类型、查询设计和查询模式。在性能测试期间,要评估和验证配置参数和任何 SQL 修改。建议在工作负载的性能测试期间一次进行一项更改,并且最好在生
如何查看yarn container日志 查看yarn任务所有container信息 yarn gc日志的查看和简单分析
如何使用命令行查看yarn日志和container信息及其日志,并进行简单的gc分析
kafka详解及集群环境搭建
kafka详解及集群环境搭建
JDBC操作达梦数据库
JDBC(Java DataBase Connectivity)即java数据库连接,它是一种用于执行SQL语句的Java API,是由一组用Java语言编写的类和接口组成,其本质就是java官方提供的一套规范(接口)。用于帮助开发人员快速实现不同关系型数据库的连接;不同的数据库厂商,针对这套接口,
Kafka同步发送与异步发送消息
生产者同步发消息,在收到kafka的ack告知发送成功之前一直处于阻塞状态
idea关联scala与spark开发(全)
idea关联scala与spark开发(全)
flink任务提交,查询,停止工具
因项目,需要在spring boot后台项目中集成flink任务提交,查询之类的功能,所有有了这个项目这个项目,可以通过java api的形式,帮助你提交,查询,暂停flink任务,也可以构建和关闭flink yarn session集群。主要通过restful接口和构建jobGraph实现。
Hadoop安装教程
hadoop集群的安装
Hadoop伪分布式集群的搭建
一、准备虚拟机1.从网上将VMware下载下来https://www.vmware.com/content/dam/digitalmarketing/vmware/en/images/gallery/banners/content/hero-generic-1400x350.jpg2.下载cento
hive窗口函数(开窗函数)
hive开窗函数