面向大数据的分布式计算框架：Apache Arrow的高性能数据存储
1.背景介绍大数据时代，数据量越来越大，传统的数据处理方法已经不能满足需求。分布式计算框架成为了解决大数据问题的重要手段。Apache Arrow 是一种高性能的数据存储和处理框架，专为分布式计算环境设计。它通过提供一种高效的内存布局和数据结构，以及一种跨语言的数据交换格式，来帮助开发者更高效地处理
Spark复习
spark在内存中的运行速度是Hadoop mapreduce 运行速度的100多倍，spark在磁盘中的运行速度是Hadoop mapreduce运行速度的10多倍。spark用内存，Hadoop mapreduce用硬盘。spark支持使用Scala、python、java、R等语言快速编写应用
Hadoop搭建集群
Hadoop集群部署是为了实现分布式存储和计算，提高大数据处理的效率和性能。1.确定集群规模和硬件资源，选择合适的操作系统和Hadoop版本，进行网络配置，确保集群内各节点之间可以互相通信。2.设置各节点的环境变量，安装和配置Java环境以及其他必要的软件和工具。3.配置Hadoop的核心组件（如H
Flink-StarRocks详解:第六部分-即席查询大案例解析(第56天)
本文为Flink-StarRocks详解后续章节：主要详解StarRocks数仓场景：即席查询大案例
spark on k8s两种方式的原理与对比
Spark on k8s Operator 更适合大规模、需要自动化和集中管理的场景。它利用 Kubernetes 的原生功能，实现自动化管理和配置集中化，虽然增加了一些复杂性，但在动态和多租户环境中表现出色。Spark on k8s 适合简单、直接的 Spark 作业提交和管理场景，特别是对于那些
在 PostgreSQL 中如何实现数据仓库级别的聚合计算？
PostgreSQL 内置了多种聚合函数，如SUM()（求和）、AVG()（平均值）、COUNT()（计数）、MIN()（最小值）和MAX()（最大值）等。这些函数可以应用于一个列或表达式，以计算该列或表达式在一组行中的聚合结果。下面是一个简单的示例，展示如何使用COUNT()在上述示例中，COUN
Git 在commit后，撤销commit
2. 撤销已经commit，但是没有push到远端的文件（仅撤销commit 保留add操作）windows 系统使用提示 more，需要多加一个 ^（windows当中^才是换行符？git push origin 分支名 --force。git reset --soft 需要回退到的版本号。1.
基于Spark的电商推荐系统（高分毕设）
今天分享的是一套基于SSM技术+spark技术的电影推荐系统包含了爬虫、电影网站（前端和后端）、后台管理系统以及推荐系统（Spark）。
Spark转化算子
这个操作是非常昂贵的，最好用aggregateByKey 和reduceByKey代替。就是在shuffle前先进行计算，这样可以减少shuffle的数据。map和mapPartitions及mapPartitionsWithIndex区别。
Spark核心知识要点（三）
Spark核心知识要点（三）
基于SpringBoot+Vue+大数据的疾病数据统计分析系统设计和实现(源码+lw+部署+讲解)
🌞博主介绍：✌CSDN特邀作者、全栈领域优质创作者、10年IT从业经验、码云/掘金/知乎/B站/华为云/阿里云等平台优质作者、专注于Java、小程序/APP、python、大数据等技术领域和毕业项目实战，以及程序定制化开发、文档编写、答疑辅导等。✌🌞👇🏻精彩专栏 推荐订阅👇🏻2023-2
HBase
Hbase的功能和应用场景是什么？功能：能够实现实时分布式随机数据存储场景：大量的结构化数据，实时，随机，持久化存储Hbase的基本存储结构是什么？设计：分布式大量数据实时存储分布式内存【进程】+分布式磁盘【HDFS】实现：NameSpace：类似于数据库概念，访问表的时候必须加上NSTable：就
一文详解数据仓库、数据湖、湖仓一体和数据网格
本文对数据仓库、数据湖、湖仓一体、数据网格四个技术概念进行了辨析，并对它们的优势和局限给出了对比介绍。
【图解大数据技术】流式计算：Spark Streaming、Flink
Flink 和 Spark Streaming 不一样，Flink 一开始设计就是为了做实时流式计算的。它可以监听消息队列获取数据流，也可以用于计算存储在 HDFS 等存储系统上的数据（Flink 把 这些静态数据当做数据流来进行处理）。然后 Flink 计算后生成的结果流，也可以发送到其他存储系统
谈谈Flink消费kafka的偏移量
Filnk checkpointing开始时就进入到pre-commit阶段，具体来说，一旦checkpoint开始，Flink的JobManager向输入流中写入一个checkpoint barrier将流中所有消息分隔成属于本次checkpoint的消息以及属于下次checkpoint的消息，b
学习大数据DAY21 Linux基本指令2
tar -zcvf abc123.tar.gz abc.txt 123.txt 压缩成 abc123.tar.gz 的命令。15. 查看/etc/group 及/etc/passwd 文件内容重定向到/root/open.txt 中。8. 使用 root 账号新建文件 1.txt 及 2.txt 对
利用Cloudera Manager API来监控CDH大数据组件并异常重启实例
Cloudera Manager API是一套基于RESTful风格的API接口，它允许用户通过HTTP请求与Cloudera Manager服务器进行通信，实现对集群的远程管理。这些API接口包括获取集群信息、服务状态、角色状态、启停服务等，为用户提供了丰富的监控和管理功能。Cloudera Ma
Hadoop 端口号及常用配置文件
hadoop3.x：HDFS NameNode 内部通常端口：8020 / 9000 / 9820HDFS NameNode 对用户的查询端口： 9870Yarn查看任务运行情况的端口： 8088历史服务器： 19888hadoop2.x：HDFS NameNode 内部通常端口：8020 /
Java处理大数据的技巧
大数据处理是现代计算机科学中的一个重要领域，通过高效的算法和工具，我们可以从大量数据中提取有价值的信息。本文将介绍一些处理大数据的技巧和策略，并讨论如何通过Java与MySQL实现高效的大数据处理。
Spark累加器、广播变量、案例需求
很自然地想到组合rdd的算子join，但是join只能组合相同的key，如果一个商品只有点击没有下单，那么使用join是不会出现在最终结果的，同理leftOuterJoin和rightOuterJoin也是类似的，不能实现相应的功能。1）已经从原始日志文件中读出了商品的点击数量rdd、下单数量rdd
