《数据传输安全白皮书》发布 国研政情谋定论道经济信息研究
《数据传输安全白皮书》发布 国研政情谋定论道经济信息研究
华为云耀云服务器L实例-大数据学习-hadoop前置准备3-防火墙、 SElinux 、时间同步等系统设置
它的设计理念使得它适用于在常规硬件上搭建的大规模集群，并为用户提供了一种可靠、高效、可扩展的大数据处理解决方案。Linux 有一个安全模块： SELinux ，用以限制用户和程序的相关权限，来确保系统的安全稳定。Hadoop 生态系统包含许多其他工具和框架，如 Hive、Pig、HBase、Spar
Flink JdbcSink.sink源码解析及常见问题
Flink JdbcSink.sink源码解析及常见问题
【Python大数据笔记_day11_Hadoop进阶之MR和YARN&ZooKeeper】
Hadoop进阶之MR和YARN&ZooKeeper
PySparkSQL（ DataFrame进阶，函数定义）
开窗函数的引入是为了既显示聚集前的数据，又显示聚集后的数据。即在每一行的最后一列添加聚合函数的结果。开窗用于为行定义一个窗口(这里的窗口是指运算将要操作的行的集合)，它对一组值进行操作，不需要使用 GROUP BY 子句对数据进行分组，能够在同一行中同时返回基础行的列和聚合列。●聚合函数和开窗函数聚
Hive case when 用法详细介绍
在上面的示例中，如果客户的收入大于100,000，则他们被分为“高”收入。如果他们的收入在50,000和100,000之间，则被归类为“中等”收入。在此示例中，如果年龄小于18岁，则将用户归类为“未成年”；例如，假设我们有一个包含客户信息的表，我们想根据客户的收入水平将其分类为高收入，中等收入和低收
大数据知识图谱解码：从核心概念到技术实战
知识图谱是近年来人工智能和数据科学领域的焦点。本文深入探索了知识图谱的核心概念、发展历程、研究内容以及其在表示、存储、获取、构建和推理方面的技术细节。结合Python和PyTorch示例代码，文章旨在为读者提供一个全面、深入且实用的知识图谱概览，帮助广大技术爱好者和研究者深化对此领域的认识。
大数据之非常详细Sqoop安装和基本操作
大数据之非常详细Sqoop安装和基本操作
Hadoop的启动和停止命令
hadoop命令集
大数据系列——Flink理论
Flink是一个对有界和无界数据流进行有状态计算的分布式处理引擎和框架，既可以处理有界的批量数据集，也可以处理无界的实时流数据，为批处理和流处理提供了统一编程模型，其代码主要由 Java 实现，部分代码由 Scala实现。Flink以REST资源的形式和外部进行交互，所以可以集成在所有常见的集群资源
Flink 状态管理与容错机制(CheckPoint & SavePoint)的关系
例如一个加法算子，第一次输入2+3=5那么以后我多次数据2+3的时候得到的结果都是5。得出的结论就是，相同的输入都会得到相同的结果，与次数无关。访问量的统计，我们都知道Nginx的访问日志一个请求一条日志，基于此我们就可以统计访问量。如下，/api/a这个url第一此访问的时候，返回的结果就是cou
大数据HIVE篇--控制hive任务中的map数和reduce数
空置Map和Reduce的个数
AI在海洋领域的应用与发展
海洋（Oceans）是地球表面陆上水溶性沉积物及其下的海底层。海洋中含有的丰富的生物资源、矿产资源以及海产品。对海洋环境的污染程度也日益增高，如污染物对海洋生物群落的影响、水体排放量、水质变化等。同时海洋也承担着重要的经济、政治和社会责任。近年来，随着人工智能的崛起，海洋科技正在蓬勃发展。以机器学习
flink源码分析之功能组件(五)-高可用组件
本系列是flink源码分析的第二个系列，上一个《flink源码分析之集群与资源》分析集群与资源，本系列分析功能组件，kubeclient，rpc，心跳，高可用，slotpool，rest，metrics，future。本文解释高可用组件，包括两项服务，主节点选举和主节点变更通知* 高可用服务常见有
Flink借助Kafka实现端到端精准一次
Flink结束Kafka实现端到端精准一次，包含检查点，保存点，状态后端的概念
大数据导论—1.1.1，1.1.2
(2)图像数据是指用数值表示的各像素的灰度值的集合，真实世界的图像一般由图像上每一点光的强算和频道(颜色)来表示，把图像信息转换成数据信息时，须将图像分解为很多小区域，这些小区域称为像底，可以用一个数值来表示它的灰度，对于彩色围像常用红、绿、蓝三原色分量表示，顺序地抽取每一个像素的信息,就可以用一个
HiveSql语法优化三 ：join优化
前面提到过：Hive拥有多种join算法，包括Common Join，Map Join，Bucket Map Join，Sort Merge Buckt Map Join等；每种join算法都有对应的优化方案。
大数据基础编程、实验和教程案例（实验七）
你好# 大数据基础编程、实验和教程案例（实验五）
大数据之Scala简介
大数据之Scala的简单介绍
（二十五）大数据实战——kafka集群及Kafka-Eagle控制台安装与部署
本节内容我们主要介绍一下搭建kafka集群以及kafka集群的一个web客户端组件Kafka-Eagle的部署安装，使用的kafka版本是kafka_2.12-3.0.0。在搭建kafka集群之前，我们要预先搭建好zookeeper集群，这里作者默认zookeeper的集群环境已经搭建完成，可参考作
