hive存储压缩格式对比说明
hive压缩说明
如何学习大数据
大数据依然是当下热门的技术之一，就犹如之前的移动开发刚开始火的时候一样，之前写了一系列的大数据开发所需的组件安装，但还从来没想过要怎么学习大数据，正好趁这次机会写一写。大数据技术是当前互联网和信息化领域的热门技术之一，随着数据量急剧增长和结构复杂化，对大数据技术的需求也越来越大。如果想要从事相关领域
Git撤销已合并提交的多种姿势
#Git撤销已合并提交的多种姿势在Git中，合并分支是一个常见的操作，但有时候可能会意外地将错误的提交合并到了主分支。这时候需要撤销已合并的提交并恢复到正确的状态。本文将介绍的是如何在Git中撤销已合并的提交，无论这个提交记录是最新的还是中间的某一个。撤销最新合并的一次提交如果要撤销最新的合并提交，
成为大数据开发工程师要学习哪些知识？
首先，作为一名大数据开发工程师，你需要掌握至少一门编程语言。作为一个大数据开发工程师，你需要掌握Hadoop生态系统的各个组件。最后，作为一名大数据开发工程师，你需要了解如何将数据可视化。常见的数据可视化工具包括Tableau、R语言和Python中的Matplotlib等。在本文中，我们将会详细介
采用seatunnel提交Flink和Spark任务
seatunnel 是一个非常易用，高性能、支持实时流式和离线批处理的海量数据处理产品，架构于Apache Spark 和 Apache Flink之上。seatunnel 让Spark和Flink的使用更简单，更高效。特性。
Presto、Spark 和 Hive 即席查询性能对比
Spark 则是一个基于内存的分布式计算框架，可以快速地处理大规模的数据，并且具有很高的可扩展性。Presto 可以很容易地集成到现有的数据架构中，并且可以在不同的数据源之间进行无缝的查询。它们都具有各自的优缺点，在不同的场景下都有着不同的应用价值。Spark 是一个基于内存的分布式计算框架，它可以
hadoop的8088端口无法访问
如果 8080 端口无法访问，可能是因为以下几种原因之一：该端口可能被防火墙阻止了访问。您可以尝试关闭防火墙，或者将 8080 端口添加到防火墙的信任列表中。Hadoop 服务可能没有启动。您可以尝试通过运行 start-dfs.sh 和 start-yarn.sh 脚本来启动 Hadoop 服务。
CentOS7部署kettle9.3.0并部署自服器远程提交任务
centos7部署kettle9.3.0并配置远程执行及其详细，中间碰到的问题全都有详细的解决办法
2 分钟就能抓取任何网站的数据是怎么做到的？？ #Browse AI
尽管现在使用网络的方式或多或少与 20 年前相同，但网络在我们生活中占据的地位越来越重要，网站却变得越来越繁琐。最重要的是，即使网络上有大量有价值的实时数据，收集它们也是非常昂贵和耗时的。Browse AI 是一款可以从任何网站提取和监控数据的方法。图源：Browse AI 官网Browse AI
Spark运行架构
Spark运行架构、核心组件、核心概念
MES系统是什么？一篇文章带你认识MES系统
MES即制造执行系统（Manufacturing Execution System），它是一套面向制造企业车间执行层的生产信息化管理系统，可以为企业提供包括制造数据管理、计划排程管理、生产调度管理、库存管理、质量管理、人力资源管理、工作中心/设备管理等等多项管理模块。通过这些管理模块对整个车间制造过
CENTO OS上的网络安全工具（二十三）VSCODE SPARK 容器式编程环境构建
总之装这个一路都很玄学，因为有些下载在输出窗口里面是能看到的（如果选择了观察logs），有些下载操作在窗口是什么都看不到的——如果你以为什么动静都看不到就是装完了而试图区执行代码的时候，一般会收到internal error。由于我们使用的是jdk 11，所以pom文件的这里需要改动一下：……当然，
Clickhouse分布式集群搭建
这种方法更为安全，它可以把使用这些环境变量的权限控制到用户级别,这里是针对某一个特定的用户，如果你需要给某个用户权限使用这些环境变量，你只需要修改其个人用户主目录下的.bashrc文件就可以了。这里是针对所有的用户的,所有的shell。Zookeeper最小集群是3节点集群，生产环境中100节点以下
flink启动报错Failed to construct kafka producer
目前是b的工程，那么会不会是jar冲突了，是自己工程冲突了 还是打的jar和flink_home/jar里的jar冲突了？本地起了一个sink2kafka的demo 也没问题，但是在服务器启动的时候就报错了，试了多次无果，开始分析报错原因。a喜欢打非依赖的jar的包，也就是flink的jar都不打进
Hive Sql优化之一次from查询多次insert into操作
优化点：一次map多个reduce，有效节省了map操作。
Elasticsearch 8.x实战 | elasticsearch 8.x 集群离线安装
本文以elasticsearch8.6.2为例详述linux集群离线部署步骤，以为基础，针对部署过程中可能的疑问作说明。因为项目安全等的原因，很多时候我们要部署的目标机器是不能访问互联网的。本文是个人离线部署过程记录，希望也能帮助到有同样需要的同学。
SQL函数 - 开窗(窗口)函数
开窗函数对一组值进行操作，它不像普通聚合函数那样需要使用GROUP BY子句对数据进行分组，能够在同一行中同时返回基础行的列和聚合列开窗函数的语法形式为：函数 + over(partition by <分组用列> order by <排序用列>)，表示对数据集按照分组用列进行分区，并且并且对每个分区
Flume多路复用模式把接收数据注入kafka 的同时，将数据备份到HDFS目录
Flume多路复用模式把接收数据注入kafka 的同时，将数据备份到HDFS目录
大数据权限与安全
大数据权限与安全
FlinkUI界面
flinkUI界面
