Spark SQL的基础知识
Spark SQL是一个用于结构化数据处理的Spark组件。所谓结构化数据，是指具有Schema信息的数据，例如JSON、Parquet、Avro、CSV格式的数据。与基础的Spark RDD API不同，Spark SQL提供了对结构化数据的查询和计算接口。将SQL查询与Spar
【数字政府】数字政府智慧政务大数据治理平台、大数据资源中心技术解决方案
未来，我们将继续加强技术研发和创新，不断完善和优化平台功能和服务，为政府决策提供更加全面、准确、及时的数据支持，为公众提供更加便捷、高效、智能的政务服务体验。（3）数据存储与管理：利用分布式存储技术，构建高可靠、高性能的数据存储系统，实现对海量政务数据的高效存储和管理；（1）数据采集与整合：通过构建
大数据学习-Spark
大数据学习-Spark1.Spark-core1.Demo1WordCountpackage com.shujia.coreimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}/* RDD:
Spark SQL基础
Spark SQL是一个用于结构化数据处理的Spark组件。所谓结构化数据，是指具有Schema信息的数据，例如JSON、Parquet、Avro、CSV格式的数据。与基础的Spark RDD API不同，Spark SQL提供了对结构化数据的查询和计算接口。将SQL查询与Spar
Spark实时（五）：InputSource数据源案例演示
实时监控json格式数据时，创建的Schema 中的字段需要与Json中的属性保持一致，否则在映射成表时，Schema中含有但在Json中没有的属性的字段对应的数据会为null。以上代码编写完成之后，向监控的目录“./data”中不断写入含有以下内容的文件，可以看到控制台有对应的流数据输出，这里一定
Hadoop 大数据技术原理与应用 （1）
a. 概念：从字面意思来看，大数据指海量数据；从特点来看，大数据具有海量、流转快、数据类型丰富及价值密度低等特点b. 数据类型：大数据的数据类型丰富多样，包括网页文件、表格文件、XML文件、文本数据、多媒体数据（视频、图片等）。按数据结构来分为 1）结构化数据 （标准化格式的数据） 2）半结构化数据
如何将区块链与大数据结合，为行业带来革命性变革
1.背景介绍区块链技术和大数据技术都是21世纪的热门话题之一，它们各自具有独特的优势，如果将它们结合起来，将会为各行业带来革命性变革。区块链技术可以提供一个安全、透明、去中心化的数据共享平台，而大数据技术则可以提供海量、多样化的数据源，这两者的结合将有望解决许多传统技术难以解决的问题。在本文中，我们
Git子模块
介绍了git submodule和git subtree的基本原理和使用
在 Windows 搭建 flink 运行环境并模拟流数据处理
在大数据场景中，开发者追求高效与灵活，Linux 系统以其稳定性成为众多组件的首选，但在资源有限的情况下，在本机搭建一个 Linux 虚拟机集群却显得过于笨重，启动、运行占资源，需要配置网络，无法和windows共享资源，尤其是对只有 8GB 内存的 Windows 系统用户来说，内存压力显而易见。
Elasticsearch进阶篇(三)：ik分词器的使用与项目应用
本文详细介绍了在Elasticsearch中安装、配置和使用IK分词器的过程。首先，它提供了两种安装方式：使用已编译的包文件或者源代码编译。然后，说明了如何将分词器安装到Elasticsearch中，并启动Elasticsearch来验证安装是否成功。接下来，介绍了IK分词器提供的两种主要分词模式：
hadoop初学:MapReduce项目实践
Hadoop是一个开源的分布式存储和计算框架，能够处理大规模数据集，并且具有高可靠性和高扩展性。它由Apache软件基金会开发，采用Java编程语言编写，提供了一个可靠、高效的分布式系统基础架构。
以数据安全为核心的安全立体防御体系解决方案
1、数据集成要提高数据使用效率，打破数据库之间的物理隔阂，需要先将数据汇聚到数据仓库中，数据同步分为实时和非实时，采用的技术也不同。ADS层：数据应用也即数据应用开发层，通过数据计算层的计算后，根据数据类型的不同可以存储到不同的存储器中，如文本型查询的数据可以存储的ES中，对计算结果的查询可以存储在
spark资源分配
Job 一个 action 算子一个job（save、collect 等）Stage Stage 调度的最小单元，Stage 的划分会产生shuffle。一个Job 由一个或多个StageTask 执行的最小单元，一个 Stage 由一个或多个 Task 组成Parallelism 一个task 就
基于FlinkCDC-3.1.1&Flink-1.18实现MySQL DDL审计告警
当前项目属于V0.1版本，里面支持的数据源不是很全面，告警渠道也有限。如果有需要的小伙伴，可以自行下载代码，然后做二次开开发。FlinkCDC 3.0版本提供了很多新能力，为数据同步提供了更多的保障机制和可能性，后续会继续探索其他新功能和新使用场景。有需要交流的小伙伴，欢迎关注我的公众号，一起交流学
数据开发/数仓工程师上手指南(一)数仓概念总览
数据库设计用于支持日常业务操作和事务处理。数据结构高度规范化，注重数据的一致性和实时性。优化事务处理性能，处理频繁的读写操作。数据仓库设计用于支持数据分析和决策支持系统。数据结构非规范化，存储大量的历史数据。优化查询性能，支持复杂的多维分析和大规模数据处理。数据库(Database)数据仓库(Dat
2024钉钉杯大学生大数据挑战赛A题【题目分析+解题代码】
随着大数据技术的高速发展，各行各业正在数字化转型，本次大赛旨在通过竞技的方式，提升大学生数据分析研究与技术应用能力，以企业真实场景和实际数据为基础，利用大数据技术分析行业面临的真实问题，尝试创新大数据技术，推动大数据的产学研用。为鼓励大学生踊跃开拓知识面，培养学生的创新思维和合作精神，内蒙古创新教育
Github常见异常以及解决办法
将文件推送到远程仓库，提示，有以下几种可能：1.如果文件很大，则可能是因为Git缓冲区溢出，可以尝试增加缓冲区大小，或者分批推送。，其中<size -in-bytes>可以替换为更大的值。2.如果文件不大，但是也出现了该问题，可能是网络问题，多推送几次试一试。
05-用户画像+mysql-hive数据导入
新建 create_hive_table.sh文件。
Hadoop平台搭建（hive前的步骤）
1.1. 将 hadoop-2.7.1 文件夹重命名为 Hadoop。1.4. 执行以下命令修改 hadoop-env.sh 配置文件。在浏览器的地址栏输入：http://master:8088。配置两个子节点slave1、slave2的JDK环境。1.3. 使配置的 Hadoop 的环境变量生效。
