Hadoop-MapReduce使用说明
MapReduce是一个开源的分布式软件框架，可以让你很容易的编写程序（继承Mapper和Reducer，重写map和reduce方法）去处理大数据。你只需要简单设置下参数提交下，框架会为你的程序安排任务，监视它们并重新执行失败的任务。下面让我们跟着官网来学习下吧。
大数据——数据从Hive导入MySQL
首先，Hive MySQL Hadoop 要确保没问题，若有小伙伴对这个有疑问，可以在评论区提问。目录可以根据实际情况进行修改，下面的表名“user_action"同理；现在可以进入浏览器Hadoop的web页面查看 数据表 是否导入到。先启动Hadoop集群，为之后获取Hive数据表做准备。将刚刚
分布式引擎Elasticsearch本地部署并结合内网穿透远程访问
💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。非常期待和您一起在这个小小的网络世界里共同探索、学习和成长。💝💝💝 ✨✨ 欢迎订阅本专栏 ✨✨。
基于spark的Hive2Pg数据同步组件
行是只读的，因此您无法更新行的值。： prep是一个PrepareStatement对象，这个对象无法序列化，在标1的地方执行，而传入map中的对象是需要分布式传送到各个节点上，传送前先序列化，到达相应机器上后再反序列化，PrepareStatement是个Java类，如果一个java类想(反)序列
Flink实战(1)-了解Flink
大数据、实时计算、使用python Flink 数据开发Flink框架搭建PyFLink环境PyFLink的WordCount编程
天气预报爬虫-多城市-更新版
历史天气爬虫多城市长日期
尚硅谷Flink（完）FlinkSQL
⚫ 标量函数（Scalar Functions）：将输入的标量值转换成一个新的标量值；⚫ 表函数（Table Functions）：将标量值转换成一个或多个新的行数据，也就是扩展成一个表；⚫ 聚合函数（Aggregate Functions）：将多行数据里的标量值转换成一个新的标量值；⚫ 表聚合函数
大数据技能大赛答案
大数据技能大赛答案
2024.1.3 Spark架构角色和提交任务流程
Cluster Manager：集群管理器是负责管理整个Spark集群的组件，它可以是Standalone模式下的Spark自带的集群管理器，也可以是其他第三方集群管理器，如YARN或Mesos。TaskScheduler：维护所有TaskSet，分发Task给各个节点的Executor（根据数据本
Spark相关知识点（期末复习集锦）
Spark实时大数据分析相关知识点
2023_Spark_实验二十六：编写Shell模拟生成点击实时数据
通过shell开发脚本，模拟产生实时的实验数据，shell函数自定义及调用
Hadoop-HDFS概览
Hadoop Distributed File System 的缩写，即Hadoop 分布式文件系统。
HDFS常用命令（介绍超详细）
第三步，如何在本地创建readme.txt文件并使用put命令上传到服务端。我们可以看一下是否成功，先看HDFS服务端是否还有readme.txt。第九步，如何将HDFS上readme.txt移动到test文件夹中。首先我们将bigdata.txt拷贝一份命名为hadoop.txt。第十步，如何将H
2023全国安全生产合格证其他生产经营单位主要负责人真题汇总
（五）督促、检查本单位的安全生产工作，及时消除生产安全事故隐患；参考解析：《安全生产法》第46条 生产经营项目、场所发包或者出租给其他单位的，生产经营单位应当与承包单位、承租单位签订专门的安全生产管理协议，或者在承包合同、租赁合同中约定各自的安全生产管理职责；参考解析：《安全生产法》第25条 生产经
Flink 任务指标监控
Apache Flink 监控常用指标
数据仓库：如何解决ODS数据零点漂移问题
数据零点漂移指的是数据同步过程中，ODS表按时间字段分区时，同一个业务日期(分区)包含前一天的数据或丢失了当天的数据、或者包含后一天凌晨附近的数据。由于ODS需要承接面向历史的细节数据查询需求，这就需要物理落地到数据仓库的ODS表按时间段来切分进行分区存储，通常的做法是按某些时间戳字段来切分，而实际
大数据Hive篇：explode 和 posexplode
explode
《PySpark大数据分析实战》-12.Spark on YARN配置Spark运行在YARN上
大家好！今天为大家分享的是《PySpark大数据分析实战》第2章第4节的内容：Spark on YARN配置Spark运行在YARN上。
美创科技葛宏彬：夯实安全基础，对医疗数据风险“逐个击破”
现今医疗数据成倍递增，安全维护的工作量变大了，且医疗数据流动性增强，在数据上云、系统运维或与其他机构合作过程中可能会“出域”，“长出腿来跑出门外”，传统IT架构下的数据安全防护措施存在失效的风险。同时，医疗机构数据的高价值和隐私性是黑客或非法组织关注的焦点，其对数据安全的干扰与威胁不容忽视。介绍，美
大数据导论期末复习知识汇总
大数据导论我是按照这个复习的。大数据导论概述、大数据导论核心技术概述、物联网大数据云计算、数据安全与共享、推荐方法等知识汇总
