DataX 简介及架构原理
DataX 简介及架构原理概述DataX是阿里巴巴使用 Java 和 Python 开发的一个异构数据源离线同步工具异构数据源：不同存储结构的数据源致力于实现包括关系型数据库 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(
深入浅出Apache DolphinScheduler
Apache DolphinScheduler 是一个大数据调度任务框架。从当前的CSDN GitCode热度来看，在二月份排名第6位。那是相当的热门。Apache DolphinScheduler 是Apache旗下的开源项目，目前已经被Fork了2700次，Star了7.3k；这还是相当厉害了！
RocketMQ源码解析-Broker部分之Broker启动过程
启动入口BrokerStartup
三天学会网络爬虫之Day03
三天学会网络爬虫之Day03第一章 课程计划第二章 案例扩展2.1.定时任务。2.1.1.Cron表达式2.1.2.Cron测试2.2.网页去重2.2.1.去重方案介绍2.2.2. SimHash2.2.2.1.流程介绍2.2.2.2.签名距离计算2.2.2.3.导入simhash 工程2.3.代理
【大数据】OLAP架构及技术实现的演进简介
文章目录一、架构分类二、技术演进1、传统关系型数据库时期2、大数据技术时期一、架构分类OLAP名为联机分析，又称多维分析，什么是多维分析，指的是多种不同的维度审视数据，进行深层次分析。进行分析必不可少对数据进行下钻、上卷、切片、切块、旋转等操作，为了更加直观，我们可以使用立方体来表示。下钻：从高层次
2022虎年的期望和新年Flag
虎年到！10位科学家立下新年Flag，我们共同见证应《中国科学报》之邀，回答了两个问题：对2022有什么样的工作和生活上的期待？请立3个具体的新年Flag。以下为我的回复：1、对2022年的期待近年来，以RISC-V为代表的开源芯片生态呈现加速发展的趋势，但仍缺乏里程碑式的突破性进展。相比而言，20
Spring+Redis+RabbitMQ限流和秒杀项目的开发
本文将围绕高并发场景中的限流和秒杀需求综合演示Spring Boot整合JPA、Redis缓存和RabbitMQ消息队列的做法。本项目将通过整合Springboot和Redis以及Lua脚本来实现限流和秒杀的效果，将通过RabbitMQ消息队列来实现异步保存秒杀结果的效果。一、项目概述本项目将要实现
基于Floyd算法的校园导航系统（Python版）
基于Floyd算法的校园导航系统
一天学完spark的Scala基础语法教程十二、异常处理(idea版本)
????前言????????博客主页：红目香薰_CSDN博客-大数据,计算机理论,MySQL领域博主????✍本文由在下【红目香薰】原创，首发于CSDN✍????2022年最大愿望：【服务百万技术人次】????????初始环境地址：【spark环境搭建(idea版本)_红目香薰-CSDN博客】???
消息队列：RabbitMQ安装和快速入门
文章目录一、消息队列1.1 作用1.2 主流消息队列比较二、RabbitMQ的安装2.1 安装2.1.1 Docker 方式2.1.2 原生方式（Ubuntu 20.04）2.2 管理插件的用法三、RabbitMQ快速入门3.1 名词介绍3.2 Hello World！3.3 任务队列（work q
【 RocketMQ 专栏】基于 Linux 环境安装部署 RocketMQ 教程(一步一步跟着安装就对了)
这里是 RocketMQ 系列的第一篇文章，工欲善其事，必先利其器，先不讲理论，也不具体介绍 RocketMQ,我们先把 RocketMQ先安装上，让你们实地感受下 RocketMQ 整个安装流程，安装完后我们再后续文章对 RocketMQ 手术刀式一层一层进行剖析。下载安装包直接从 RocketM
Linux中安装部署Elasticsearch
Elasticsearch (ES)是一个基于Lucene构建的开源、分布式、RESTful 接口全文搜索引擎,本文介绍在Linux中安装部署Elasticsearch.
Maven是什么
Maven是专门用于管理和构建java项目的工具主要功能：提供一套标准化的项目结构 提供了一套标准化的构建流程（编译，测试，打包，发布......） 提供了一套依赖管理机制依赖管理：依赖管理就是管理项目所依赖的第三方资源（jar包、插件...）一般的 下载jar包 复制jar包到项目 将jar包加入
通过Spring Data Elasticsearch操作ES
Elasticsearch (ES)是一个基于Lucene构建的开源、分布式、RESTful 接口全文搜索引擎，Spring Data是Spring 的一个子项目。用于简化数据库访问，支持NoSQL和关系数据库存储。其主要目标是使数据库的访问变得方便快捷，本文介绍通过Spring Data Elas
[4] Flink大数据流式处理利剑: Flink集群安装和运行
本节笔者总结了如何在一个机器上安装集群，以及在多个机器上安装集群；并提到了通过zookeeper可以让Flink集群的Master节点也保持高可用；最后演示了如何部署一个SocketWindowWordCount.jar的例子，并在Flink的Web UI上面观察其job的执行情况和输出！
客快物流大数据项目(二十五)：初始化业务数据
目录初始化业务数据一、安装OGG源端1、在Oracle中创建OGG相关的用户和表空间2、OGG源端初始化二、配置OGG源端1、Oracle创建物流相关表2、配置管理器MGR进程3、配置extract进程4、配置pump进程5、配置define文件三、配置OG
Java实现多线程中生产者、消费者问题，简单易懂
思想：1、生产者在while循环里不停地生产“产品”，每生产一个，就交给店员，店员就得到一个产品2、消费者在while循环里不停地消费产品，每消费一个，店员就移走一个产品3、店员手里的产品少于20个，就从生产者那里拿走产品。等于20个，就停止从生产者那里拿走产品4、店员手里的产品多于0个，就让消费者
面试题：Kafka为什么吞吐量大、速度那么快
Kafka天生的分布式架构顺序写：Kafka使用了磁盘顺序写来提升的性能。Kafka的message是不断追加到本地磁盘文件末尾的，而不是随机的写入，减少了磁盘寻址的开销Kafka利用了操作系统自身的内存，Kafka的读写操作基本上是基于内存的，读写速度得到了极大的提升。而不是JVM空间内存，避免G
2022年大数据即将带来的5个重要变化
目录1. 大数据将成为一个外交政策问题2. 大数据优化招聘和培训3. 实时分析维持电子商务4. 数据中毒愈演愈烈5 绿色数据中心的兴起大数据在2022年达到新的高度大数据已经改变了许多行业的运营方式。现在，大流行加速了全球的数字化转型，该领域的增长速度超过了大多数人的预期。这种前所未有的增长无疑将在
项目中使用Cron与RabbitMQ实现定时任务
分布式、定时任务，rabbitMQ
