Hadoop--万恶NameNode各种起不来！！！
一下↓ 是对NameNode结点一些常见问题这里用到启动Hadoop集群的脚本：myhadoop.sh start 和查看进程脚本：jpsall (后面会写一篇关于脚本的文章)先看Hadoop配置文件/opt/module/hadoop-3.1.3/etc/hadoop（每个人可能路径不同），查看这
Flink 两阶段提交（Two-Phase Commit）协议
flink两阶段提交
Flink Sql光速入门
flink sql很简单，只要会sql就会写实时应用报表
hive/spark数据倾斜解决方案
数据倾斜主要表现在，mapreduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多(有时是百倍或者千倍之多)，这条Key所在的reduce节点所处理的数据量比其他节点就大很多，从而导致
hadoop3.2.1+hive3.1.2-docker安装
docker 安装配置hadoop+hive，配置密码。
大数据之使用Spark全量抽取MySQL的数据到Hive数据库
使用了spark对MySQL的数据进行操作并保存到了hive数据库，原理大同小异，spark提供了许多api供我们使用，非常的方便和灵活。本题来源于全国职业技能大赛之大数据技术赛项赛题-离线数据处理-数据抽取题目：编写Scala代码，使用Spark将MySQL的shtd_industry库中表Env
（十一）大数据实战——hadoop高可用之HDFS手动模式高可用
本节内容我们介绍一下hadoop在手动模式下如何实现HDFS的高可用，HDFS的高可用功能是通过配置多个 NameNodes(Active/Standby)实现在集群中对 NameNode 的热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将 NameNode很快的
库兹韦尔指数 “加速回报法则 “的概念
库兹韦尔是20世纪著名的经济学家之一，他提出了很多重要的理论，其中之一就是被称为“加速回报法则”。这个观点引起了不少人的兴趣和探讨，在投资领域也得到了广泛的应用。本文就将详细解释库兹韦尔的“加速回报法则”的概念，以及它与投资有什么关系。
2023_Spark_实验七：Scala函数式编程部分演示
Scala函数式编程，函数是头等公民，函数的定义，匿名函数，高阶函数，闭包，柯里化的使用。
酷开系统 | 酷开科技大数据，更好的与目标消费人群建立联系
得年轻消费者得“天下”，年轻的一代逐渐成为中国消费市场主力军，几乎所有的品牌都开始想方设法去拥抱年轻人，期望品牌能够与年轻群体进行更好地链接，产生共鸣。儿童教育、动漫卡通可准确定向儿童家庭；“娱乐”是当代年轻人的一个关键核心词，看视频、购物、健身、周边游等，娱乐向兴趣在年轻群体中占比格外大，而且，这
真实大数据简历模版（一）【大数据-4年经验】在线教育
该项目主要是对煤炭行业数据的综合分析，数据来自不同的行业，数据格式繁多，数据量大，公司的业务是对行业数据提取分析出有价值的信息，提供行业分析报告，例如分析化工、房产、钢铁、电网等行业煤电用量和消费信息，全国煤产量及消耗量，电厂数据，煤炭进出口数据，煤炭价格，主焦煤，动力煤运量，价格等，来自不同行业的
Hadoop 3.2.4 集群搭建详细图文教程
Hadoop 3.2.4 集群搭建详细图文教程
Logstash同步Mysql数据至ES
通过logstash，定时同步mysql数据库数据至elasticsearch
Gitee API的使用｜如何批量删除Gitee下的所有仓库
批量删除gitee上所有的仓库，gitee api的使用，gitee api文档，Github api文档
[Hadoop安装配置 ]
水能载舟,亦能覆舟。
HiveSQL刷题
现有各直播间的用户访问记录表（live_events）如下，表中每行数据表达的信息为，一个用户何时进入了一个直播间，又在何时离开了该直播间。
流数据湖平台Apache Paimon（二）集成 Flink 引擎
Paimon目前支持Flink 1.17, 1.16, 1.15 和 1.14。本课程使用Flink 1.17.0。环境准备1）上传并解压Flink安装包tar -zxvf flink-1.17.0-bin-scala_2.12.tgz -C /opt/module/2）配置环境变量sudo vim
Flink的部署模式：Local模式、Standalone模式、Flink On Yarn模式
Local模式、Standalone模式和FlinkonYARN模式是Flink的三种常见部署模式。
Deepin 图形化部署 Hadoop Single Node Cluster
快捷键 ctrl+alt+t 打开控制台窗口更新 apt 源更新 系统和软件升级后建议重启。
kafka如何保证消息的有序性
软件测试常见面试题：kafka如何保证消息的有序性
