我眼中的大数据（四）——Yarn和Hive
但是Yarn并不是随Hadoop的推出一开始就有的，Yarn作为分布式集群的资源调度框架，它的出现伴随着Hadoop的发展，使Hadoop从一个单一的大数据计算引擎，成为一个集存储、计算、资源管理为一体的完整大数据平台，进而发展出自己的生态体系，成为大数据的代名词。在Hadoop早期的时候，大数据技
客快物流大数据项目（七十八）：Hue简介
HUE是一个开源的。
毕业设计 大数据全国疫情数据分析与3D可视化 - python 大数据
🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是🚩大数据全国疫情数据分析与3D可视化🥇学长
【毕业设计】基于大数据的抖音短视频数据分析与可视化 - python 大数据 可视化
🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是🚩基于大数据的抖音短视频数据分析与可视化🥇
Hadoop,VMware,Xshell,Xftp,CentOS,安装和部分问题详解（真的很详细）
Hadoop想必困扰很多学生，笔者就弄了一周，这里本人亲手写和实践的一份超详细的安装流程。
湖仓一体电商项目（二十三）：离线业务 统计每天用户商品浏览所获积分
使用Iceberg构建湖仓一体架构进行数据仓库分层，通过Flink操作各层数据同步到Iceberg中做到的离线与实时数据一致，当项目中有一些离线临时性的需求时，我们可以基于Iceberg各层编写SQL进行数据查询，针对Iceberg DWS层中的数据我们可以编写SQL进行离线数据指标分析。当前离线业
hadoop大数据集群搭建(二)超级保姆式教学
本篇为为hadoop集群配置的中章, 包含如下内容, 1. 关闭防火墙 2. 集群之间的免密登录 3. 完成集群的时间同步问题 4. 安装MySQL 5. 安装JDK终章将会手把手完成最后的软件安装及配置和体验!
TransBigData：一款基于 Python 的超酷炫交通时空大数据工具包
TransBigData是一个为交通时空大数据处理、分析和可视化而开发的Python包。TransBigData为处理常见的交通时空大数据（如出租车GPS数据、共享单车数据和公交车GPS数据等）提供了快速而简洁的方法。TransBigData为交通时空大数据分析的各个阶段提供了多种处理方法,代码简洁
Mysql高阶语句
存储过程也shell脚本里的函数类似，只不过存储过程，封装的是一组SQL语句Mysql数据库存储过程是一组为了完成特定功能的sql语句集合存储过程在使用过程中是将常用或者复杂的工作预先使用的sql语句写好并用一个指定的名称存储起来，这个过程编译的优化后存储在数据库服务器中，当需要使用该存储过程时，只
学大数据有哪些高薪工作可以选？
大数据行业目前有多火爆就不用多说了，我们生活和工作的方方面面都和大数据技术息息相关。由于大数据在各个行业的广泛应用，导致了大数据人才缺口的进一步扩大。可能有人会问了，学大数据有哪些高薪工作可以选呢？首先大数据的整体就业薪资都挺高，而且的就业方向也很多。下面为大家介绍一些大数据行业的高薪岗位。数据分析
湖仓一体电商项目（二十）：业务实现之编写写入DM层业务代码
DM层主要是报表数据，针对实时业务将DM层设置在Clickhouse中，在此业务中DM层主要存储的是通过Flink读取Kafka “KAFKA-DWS-BROWSE-LOG-WIDE-TOPIC” topic中的数据进行设置窗口分析，每隔10s设置滚动窗口统计该窗口内访问商品及商品一级、二级分类分析
【面经】- 上汽新能源车企30K-60K架构师实战面经分享
【面经】- 上汽新能源车企30K-60K架构师实战面经分享java架构师面经大数据架构师面经数据开发架构师面经大数据平台架构师面经
[大数据]数据可视化 -- 练习卷
是指发现并纠正数据文件中可识别错误的最后一道程序，是对数据的完整性、一致性和准确性进行重新审查和校验的过程。．动态图表是图表分析的较高级形式，当用户执行某个操作后，图表中的数据会随之发生变化，这种图表也称为。相结合的方式，可以很好地阐释单个系列数据从一个值到另一个值的变化过程，形象地说明数据的流动情
大数据面试之hive重点（四）
大数据面试之hive重点（四）
Hadoop集群配置
快速创建linux虚拟机，并且搭建好Hadoop集群
从零开始搭建虚拟机伪分布式环境（从创建虚拟机一步步教你搭建伪分布式开发环境）。
从零开始搭建伪分布式环境，本人已经测试一遍除了粗心把路径命令打错了别的无任何错误
湖仓一体电商项目（十八）：业务实现之编写写入DWD层业务代码
另外，在Flink处理此topic中每条数据时都有获取对应写入后续Kafka topic信息，本业务对应的每条用户日志数据写入的kafka topic为“KAFKA-DWD-BROWSE-LOG-TOPIC”，所以代码可以复用。以上代码执行后在，在对应的Kafka “KAFKA-DWD-BROWSE
我眼中的大数据（一）
在正式落地谈技术之前，先花一些篇幅说说大数据技术的发展史。我们常说的大数据技术，其实起源于Google在2004年前后发表的三篇论文，分别是分布式文件系统GFS、大数据分布式计算框架MapReduce和NoSQL数据库系统BigTable（如果大家需要可以留言给我，我可以专门解读一下）。
Observability：使用 Elastic Agent 来进行 Uptime 监控
在 Elastic Stack 7.x 中，Elastic 引入 Heartbeat 来对网站或微服务来进行监控。通过 Heartbeat 的应用，我们可以知道网站及微服务的运行情况，我们甚至可以针对服务器的证书的有效期进行监控。随着 Elastic Agent 的推出，Elastic 更建议我们使
Flink / Scala - 大规模状态 ValueState 内存实践与优化
Flink / Scala 大规模状态 ValueState 内存实践与优化。
