【Spark】What is the difference between Input and Shuffle Read
保持每个task的 input + shuffle read 量在300-500M左右比较合适。Spark调参过程中。
大数据之LibrA数据库系统告警处理（ALM-12007 进程故障）
进程健康检查模块按5秒周期检测进程状态。当进程健康检查模块连续三次检测到进程连接状态为故障时，产生该告警。说明：如果同一时间段，存在大量的进程故障告警，则可能存在安装目录文件被误删除或者权限被修改。当进程连接正常时，告警恢复。该进程提供的业务不可用。产生告警的服务名称。产生告警的角色名称。
hadoop datanode无法启动
datanode无法启动报错问题及解决方法
21、Flink 的table API与DataStream API 集成（完整版）
1、Flink 部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink 的table api与sql的基本概念、通用api介绍及入门示例14、Flink 的table api与sql之数据类型: 内置数据类型以及它们的属性1
Kettle组件介绍
转换里面有个DB连接，新建连接之后共享这个连接。
MySQL安装与环境搭建——超详细教程
本章详细写了mysql的安装，环境的搭建以及安装时常见的问题和解决办法。
年度顶级赛事来袭：2023 CCF大数据与计算智能大赛首批赛题上线！
年度顶级赛事强势来袭，首批赛题重磅上线！2023 CCF BDCI 大赛，等你挑战！
从零开始搭建hadoop集群（一）虚拟机Vmware的下载安装和CentOS的下载安装（最新版）
史上巨详细了，没有跳过一张图，两个安装一共39张图。此外，附有CentOS的镜像文件百度网盘和VMware的官网安装地址。
【大数据】什么是Flink？Flink能用来做什么？
Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。Apache Flink 功能强大，支持开发和运行多种不同种类的应用程序。它的主要特性包括：批流一体化、精密的状态管理、事件时
Spark优化大全总结含泪实操,含数据格式/数据倾斜/算子优化/Join优化/参数调优等
Spark优化总结大全,含数据格式/数据倾斜/算子优化/Join优化/参数调优等,spark任务重RDD持久化数据在Executor内存中占用比例为60%,当数据量较大内存放不下时,就会溢写到磁盘,如果spark任务中有较多需持久化的RDD,建议调大此参,避免内存不足时数据只能写磁盘的情况.若没有或
Apache Spark 的基本概念和在大数据分析中的应用
它可以用于处理结构化数据、半结构化数据和非结构化数据，并可以从多个数据源集成数据。这使得它成为处理大规模数据的理想平台。Spark SQL：Spark SQL是用于在Spark中处理结构化数据的特殊模块。Apache Spark是一种快速、分布式的计算引擎，具有高度的可扩展性，能够以高效的方式处理大
【Spark】配置参数关系-重要
eg：资源配置10个Executor节点，每个节点2个Core，那么同一时间可以并行计算的task数为20，如果RDD有2个分区，那么计算时只使用2个Core，其余18个Core空转，浪费资源，每个Executor中的一个Core（线程，虚拟核数）同时只能执行一个Task，所以Spark调优中会通过
Elasticsearch的安装及使用，这一篇就够了
Elasticsearch的安装及使用，这一篇就够了
大数据-玩转数据-FLINK(Yarn模式)的安装与部署
在这些容器上，Flink 会部署JobManager 和 TaskManager 的实例，从而启动集群。一个Job会对应一个Flink集群，每提交一个作业会根据自身的情况，都会单独向yarn申请资源，直到作业执行完成，一个作业的失败与否并不会影响下一个作业的正常提交和运行。内存集中管理模式：在Yar
大数据——技术生态体系
SparkR 是 Apache Spark 生态系统中的一个项目，它提供了一个接口，允许 R 语言用户利用 Spark 的分布式计算能力来进行数据分析和处理。：Spark SQL 可以与其他 Spark 组件（如Spark Streaming、Spark MLlib等）集成，使用户能够在一个统一的
25、Flink 的table api与sql之函数(自定义函数示例)
1、Flink 部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink 的table api与sql的基本概念、通用api介绍及入门示例14、Flink 的table api与sql之数据类型: 内置数据类型以及它们的属性1
航空大数据——项目资源汇总及开源（四）
ADS-B项目开源大礼包
大数据和智能数据应用架构系列教程之：大数据与环境监测
作者：禅与计算机程序设计艺术 1.背景介绍近年来随着人们对城市生活质量、健康状况以及经济发展的关注，环境监测技术已经成为一个热门研究方向。如何从海量数据中提取有意义的信息并快速有效地反应出环境变化、评价环境危机、评估经济发展规划等，成为越来越多研究者面临的新课题
Hadoop集成Kerberos安全服务器
公司里要给Hadoop配置Kerberos，记录一下过程中遇到的问题。
关于HBase集群中的Hmaster节点刚启动就挂掉的解决方法
关于HBase集群中的Hmaster节点刚启动就挂掉的解决方法
