数据仓库简介
首先,各个部门的分析结果就会不一致,因为如果两个部门是在不同的时间抽取的同一个业务数据库的数据进行分析,结果肯定会不一致。其次,每个部门都要建立数据抽取系统,就会产生资源的浪费,每个数据抽取系统都要数据库的权限,数据库的权限管理也会变得麻烦。同时还会降低数据库的性能。一般最长调用的都是最近的数据,过
Kafka 监控
Broker JVM 进程默认用 G1 的 GC 算法,当 cleanup 结束后,堆上活跃对象大小从 827MB 缩减成 645MB。load average 的过去 1 分钟、过去 5 分钟、过去 15 分钟的 Load 平均值:4.85、2.76、1.26。例子 : Broker 进程进行 F
【大数据&AI人工智能】每天都在改变世界!这绝对是 AI 史上最疯狂的一周
我们现在有三款产品:图片生成的盗梦师、文本生成的 Friday AI 和心理聊天机器人。盗梦师目前有接近 50 万用户,用户粘性还是很强的,次日留存接近 40%。盗梦师的用户分为两类,第一类是兴趣型用户,对 AIGC 的技术感兴趣,头脑中有很多故事和画面但是自己没法画出来,于是用盗梦师实现了自己的梦
Python毕业设计 二手房数据分析与可视化 - 大数据 网络爬虫
🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升,传统的毕设题目缺少创新和亮点,往往达不到毕业答辩的要求,这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设,学长分享优质毕业设计项目,今天要分享的是🚩基于大数据招聘岗位数据分析与可视化系统🥇
RabbitMQ(Message Queue消息队列)
RabbitMQ(Message Queue消息队列)
SparkSQL
大数据自学笔记——spark学习笔记
Dolphinscheduler 3.0 windows 部署手册
Dolphinscheduler 3.0 windows集群部署
在 windows 构建 hadoop,生成 winutils.exe 和 hadoop.dll
windows 环境构建 hadoop,生成 winutils.exe 和 hadoop.dll
Hadoop分布式模式下SSH免密码登录
所以,需要安装SSH,但是,SSH远程登陆的时候,需要密码验证,集群中数千台计算机,数千台计算机都需要手工输入密码,这是不太现实的,所以,就需要配置SSH无密码登录。个客户端节点的公钥整合到~/.ssh/authorize_keys中,然后,用scp命令将 ~/.ssh/autorized_keys
大数据平台搭建及集群规划
例如,假设总共需要存储 800TB 的数据,HDFS 的块副本数为 3,如果每个 DataNode 配置 10 块 8T 的硬盘,那么,采购 30 台 DataNode 服务器即可。在每个机柜中都可部署相应的 Hadoop 服务,可以看出,机柜 1 和 2 分别部署了 NameNode 的主、被节点
flink内存管理, 增加Task内存大小,减少ManageMemory, network内存的方法
flink内存管理, 增加Task内存大小,减少ManageMemory, network内存的方法
【MPP数据库】StarRocks分区、分桶探索与实践
StarRocks 分区分桶探索与实践
大数据 | 实验一:大数据系统基本实验 | 常用的 Linux 操作和 Hadoop 操作
Hadoop 运行在 Linux 系统上,因此需要学习实践一些常用的 Linux 命令。
浅谈估值模型:PB指标与剩余收益估值
本文简单介绍PB指标,剩余收益的推导及其估值方式
Hive sql 每天场景题 41
Hive sql 每天场景题41
数据湖基本概念--什么是数据湖,数据湖又能干什么?为什么是Hudi
数据湖概念首次于2010年被James Dixon在其博客帖子(Pentaho, Hadoop, and Data Lakes | James Dixon's Blog)中提及 :数据湖的权威定义(来自维基百科):数据湖(Data Lake)是一个以原始格式存储数据的存储库或系统,它按原样存储数据,
TX2安装pytorch+TensorRT+yolov5实现实时检测
tx2 yolov5实时检测
大数据框架保姆级安装教程——Zookeeper(3.5.7)
大数据框架保姆级安装教程——Zookeeper(3.5.7)
Flume实时采集mysql数据到kafka中并输出
Flume实时采集mysql数据到kafka中并输出。Apache Flume是一个分布式的、可靠的、可用的系统,用于有效地收集、聚合和将大量日志数据从许多不同的源移动到一个集中的数据存储。在大数据生态圈中,flume经常用于完成数据采集的工作。其实时性很高,延迟大约1-2s,可以做到准实时。又因为
安装kibana 报错/访问不了
安装kibana报错,访问不了页面