大数据Hadoop之——DorisDB介绍与环境部署（StarRocks）
StarRocks 是一款高性能分析型数据仓库，使用向量化、MPP（Massively Parallel Processing：大规模并行处理） 架构、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。StarRocks 既支持从各类实时和离线的数据源高效导入数据，也支持直接分析数据湖
大数据NiFi（二十二）：Kafka中数据实时导入到HDFS中
连接后，并设置“PutHDFS”处理器“failure”和“success”路由关系为自动终止。此案例使用到“ConsumerKafka_1_0”和“PutHDFS”处理器。“ConsumerKafka_1_0”处理器可以将消费Kafka中的数据。案例：向Kafka某个topic中写入数据，实时导入
大数据精品栏目介绍
一、大数据入门核心技术大数据入门核心技术栏目里集合等大数据必学的核心技术。初学者选择这个栏目，可以快速了解大数据知识体系，为后面的扩展性的深度学习大数据打下坚实的基础。二、数据湖基础+湖仓一体电商项目数据湖是一个集中式的存储库，允许你以任意规模存储多个来源、所有结构化和非结构化数据，可以按照原样存储
Linux卸载RabbitMQ
1、卸载前先停掉rabbitmq服务，执行命令。3、卸载rabbitmq已安装的相关内容。2、查看rabbitmq安装的相关列表。2、卸载erlang已安装的相关内容。1、查看erlang安装的相关列表。一、卸载rabbitmq相关的。然后你就可以重新安装了。
大数据周会-本周学习内容总结05
大数据周会-本周学习内容总结05
如何成为优秀的程序员
首先，他们得出来的第一个结果是，从查看 bug fix的commits的次数情况来看，C、C++、Objective-C、PHP和Python中有很多很多的commits都是和bug fix相关的，而Clojure、Haskell、Ruby、Scala在bug fix的commits的数上明显要少很
RabbitMq五种模式代码案例及使用详解
RabbitMQ是一个实现了AMQP（Advanced Message Queuing Protocol）高级消息队列协议的消息队列服务，用Erlang语言。是面向消息的中间件。
Mysql：sql去重的几种方式（大数据hive也可参考）
我们做数据分析的时候经常会遇到去重问题，下面总结 sql 去重的几种方式，后续如果还有再补充，大数据分析层面包括也可参考。
Linux系统下的hadoop常用命令
选项： - f选项将在文件增长时输出附加数据，如在Unix中一样。
【消息队列笔记】chp4-如何处理消费时的重复消息
在发送消息时，如果消息发送失败，发送方会对消息进行重发，这就会产生重复的消息。如果我们不对重复消息进行处理，可能会对系统造成一定的影响。如果消息队列本身能保证消息不会重复，那我们在消费端的实现逻辑就会变得很简单。
hive中case when的两种使用方法
hive中case when 的两种用法
【大数据入门核心技术-Ambari】（一）Ambari介绍
Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。Apache Ambari 支持HD
Spark 连接 Mongodb 批量读取数据
spark 读取 mongodb 数据
大数据开发的工作内容与流程
像用cdc、ogg这样的一个技术，会监控数据库的日志。当然很多时候，在生产中的选型比较复杂，而且会有MPP与大数据产品一起使用的场景，但整体的流程不变，只是各阶段的产品有所替换。然后由流（处理）引擎，比如说spark生态圈的spark streaming，当然还有比较新的像flink这些产品进行一个
无人集群系统了解篇
智能无人集群是指:由一定数量的同类或者异构无人系统/装备、控制系统及人机界面组成，利用信息交互与反馈、激励与响应，实现相互间行为协同，适应动态环境，共同完成特定任务的智能联合系统。...
MapReduce案列-数据去重
数据去重主要是为了掌握利用并行化思想来对数据进行有意义的筛选，数据去重指去除重复数据的操作。在大数据开发中，统计大数据集上的多种数据指标，这些复杂的任务数据都会涉及数据去重。
Hive综合应用案例——用户学历查询
任务描述本关任务：查询出每一个用户从出生到现在的总天数编程要求在右侧编辑器补充hql语句，查询出每一个用户从出生到现在的总天数。创建数据库：mydb创建表：usertab字段名 类型 注释id int 用户idsex string 性别,f:女性,m:男性time string 出生日期educat
Flink内核源码解析(出自B站尚硅谷)
文章目录任务提交流程本套教程针对Flink 1.12.0版本的核心模块进行源码级讲解，从任务提交流程、通讯过程、Task调度、内存模型四大方面入手，庖丁解牛逐行分析源码，手术刀级别剖析Flink内核架构！任务提交流程实例以yarn-per-job为例。flink提交作业是通过flink run进行提
【实战】OceanBase之OMS迁移Oracle至oceanbase
使用OMS迁移Oracle至oceanbase
RabbitMQ常见面试题及答案 90道（2021版）
RabbitMQ面试题以及答案整理【最新版】RabbitMQ高级面试题大全(2021版)，发现网上很多RabbitMQ面试题都没有答案，所以花了很长时间搜集，本套RabbitMQ面试题大全如果不背 RabbitMQ面试题的答案，肯定面试会挂！这套RabbitMQ面试题大全，希望对大家有帮助哈~博主已
