flume入门案例
flume入门案例
基于SSM框架的智能物流管理系统设计与实现
摘 要近些年，互联网行业的发展带给了很多人在生活上的便利，互联网能够改变人们的生活和工作的模式。很多企业都在将普通的工作模式结合了互联网，利用互联网的优势提高管理员的工作效率。目前不少智能物流管理系统存在着许多问题，因此根据物流行业的特点，可以设计一个智能物流管理系统提高管理员的工作效率。本系统所
Flink中遇到的问题
解决遇到的一些问题
doris安装部署-通过docker部署doris集群
通过docker配置Doris集群：一个FE+三个BE，使用doris版本1.1.5。
词频的统计
任务8、词频统计-参看本博《经典案例【词频统计】十一种实现方式》-针对单词文本文件，统计每个单词出现的次数hello hadoop hello sparki love you hadoop and sparki learn hadoop and scala-思路：读取文件，通过拆分得到单词数组，定义
《Spark编程基础Scala版》第一章习题答案
在物理上HBase其实是按CF存储的，只是按照Row-key将相关CF中的列关联起来Hbase对数据的存储方式和数据结构进行的修改和规整（K-V形式），使其更加善于去处理大数据的场景，此在Hadoop MapReduce运行计算时能够提供更好的底层支持。因此，在许多企业实际应用中，Hadoop和Sp
苦练基本功——数据仓库
数据仓库是一个以主题为导向、集成、非易失性、时间一致的数据集合，用于支持企业决策者进行分析、报表和数据挖掘等活动。它通过对企业各个业务领域的数据进行整合和清洗，将其转化为可理解、易分析的数据，从而为决策者提供决策所需的信息和分析基础。数据仓库是一个面向主题的、集成的、稳定的、历史数据的集合，它包括多
RabbitMQ消息可靠性（一）-- 生产者消息确认
RabbitMQ高级应用之一 保证RabbitMQ消息的可靠性
Hive动态分区和分桶使用场景和使用方法
按照数据表的某列或某些列分为多个分区，分区从形式上可以理解为文件夹，比如我们要收集某个大型 网站的日志数据，一个网站每天的日志数据存在同一张表上，由于每天会生成大量的日志，导致数据表 的内容巨大，在查询时进行全表扫描耗费的资源非常多。那其实这个情况下，我们可以按照日期对数据 进行分区，不同日期的数据
数据库同步有哪些方式？【怎么保障目标和源数据一致性】
数据库同步有3大难题：1是如何保障目标和源数据一致性；2是异构数据库如何做数据类型转换，导致数据同步失败的原因常常是因为数据类型不一样；3是在数据越实时越有价值的背景下，同步过程中能否做到实时同步。
利用Kafka实现延迟队列实践
上面的实践存在什么样的问题，考虑一个场景，有一个延迟一小时的队列，这样消息发出后，实际上一个小时后在该主题上的消息拉取才有意义（之前即使拉取下来也发送不出去），但上面的实现仍然会不停阻塞唤醒，相当于在做无用功。主要实践原理是通过定阅原始主题，并判断是否满足延迟时间要求，满足要求后转发新主题，不满足则
2017年MathorCup数学建模B题共享单车解题全过程文档及程序
2017年MathorCup数学建模B题共享单车解题全过程文档及程序
Hudi的核心概念 —— 索引（Index）
事实上，有范围裁剪功能的布隆索引是最佳的解决方案。从 index 的维护成本和写入性能的角度考虑，维护一个 global index 的难度更大，对写入性能的影响也更大，所以需要 non-global index。上图为例，白色是基本文件，黄色是更新数据，有了索引机制，可以做到：避免读取不需要的文件
什么是web3？未来趋势？怎么学？
1. 块链基础知识和技术。6. 加密货币和加密经济。3. 分布式Web开发。
数据库的设计规范：第一范式、第二范式、第三范式、巴斯范式
文章目录1. 范式的概念1.1 范式分类1.2 键和相关属性的概念2. 第一范式（1st NF）2.1 概念2.2 举例2.1 总结3. 第二范式（2nd NF）3.1 概念3.2 举例3.3 总结4. 第三范式(3rd NF)4.1 概念4.2 举例4.3 总结5. 范式的优缺点5.1 优点5.2
【Spark实训】--竞赛网站访问日志分析
竞赛网站访问日志分析；1、过滤出访问次数在 50 次以上的用户记录 2、统计访问 50 次以上的用户主要访问的前 5 类网页 3. 合并部分网页 4.根据访问时间加入对应时段
Hive安装与配置及常见问题解决
对Hadoop系统的hive组件的安装与配置
大数据平台之数据存储
大数据之数据存储技术
Alluxio安装部署
Alluxio 是世界上第一个虚拟的分布式存储系统，以内存速度统一了数据访问。它为计算框架和存储系统构建了桥梁，使应用程序能够通过一个公共接口连接到许多存储系统。Alluxio以内存为中心的架构使得数据的访问速度能比现有方案快几个数量级。简单来说，Alluxio是一个分布式文件系统，是数据驱动框架或
Hadoop集群安装和搭建（从零开始超级超级详细的过程）（上）
Hadoop集群安装和搭建（从零开始超级超级详细的过程）（上）
