【安装部署】Apache SeaTunnel 和 Web快速安装详解
Apache SeaTunnel里面的Connector对应的jar包需要自己下载，在执行自动下载jar包前，进入apache-seatunnel-2.3.3，查看vim bin/install-plugin.sh内容，主要内容就是下载jar包，默认是从mvvm下载，下载速度太慢，我这边安装了mav
【公益案例展】四川农担x中电金信——大数据智能风控平台建设
中电金信公益案例本项目案例由中电金信投递并参与数据猿与上海大数据联盟联合推出的#榜样的力量# 《2024中国数据智能产业最具社会责任感企业》榜单/奖项”评选。大数据产业创新服务媒体——聚焦数据· 改变商业1、外部经济环境带来的挑战近几年经济发展和市场需求的挑战下，企业经营压力增加，一些特定行业客户
技术周总结 2024.07.01~07.07(Spark & Scala)
Spark代码编程
基于大数据+爬虫+数据可视化的的亚健康人群数据可视化设计和实现(源码+LW+部署讲解)设计和实现(源码+LW+部署讲解)
基于大数据的亚健康人群数据可视化是一种利用数据分析和图形展示技术，对大量亚健康人群数据进行整合、分析和呈现的方法。通过收集和处理来自各种来源的数据，该系统能够揭示亚健康状态的分布特征、影响因素和发展趋势，为健康管理和政策制定提供科学依据。在数据可视化方面，系统采用了多种直观的图形展示方式。通过颜色、
GitHub Desktop的常用操作【图形化】
提交等同于产生了一个新的文件，会有一个新的版本号，那么我们怎么看到这个版本号呢？这里就显示c文件被删掉了，我们还是要提交后仓库中的文件才会被删掉。我们如果勾选上这个选项，那这个仓库就从我们系统中移除了。而且通过版本号可以找到文件（55 3ced7…我们把本地的c文件删掉，但是仓库中的文件还在。合并成
Flink ProcessFunction不同流异同及应用场景
状态管理与事件时间：所有函数均支持事件时间和水位线处理，状态管理（除了），但Keyed系列额外支持键控状态。流处理处理多个流，而和支持广播状态传播。窗口处理和专用于窗口处理，前者基于键控窗口，后者处理全窗口数据。灵活性和最为灵活，适用于广泛的复杂逻辑处理；在窗口上下文中提供了额外的处理能力。
MySQL到Doris的StreamingETL实现（Flink CDC 3.0）
将flink-cdc-pipeline-connector-doris-3.0.0.jar以及flink-cdc-pipeline-connector-mysql-3.0.0.jar防止在FlinkCDC的lib目录下。4）在MySQL的test_route数据中对应的几张表进行新增、修改数据操作，
数字化运维大数据管控中心驾驶舱建设方案
最后，加强备份数据的安全管理也是必不可少的。首先，我们要根据管控中心驾驶舱的功能和特点，编制专业的培训材料，这些材料不仅包括详细的操作手册，还有生动的视频教程和实际的案例分析，让学员能够全方位地了解驾驶舱的使用方法和应用场景。当然，不同用户群体的需求也是不同的，所以我们要设计不同难度的培训课程，包括
【spark】新浪新闻网数据采集实时分析项目
该项目是一个基于Spark的综合实训项目，旨在实现对新浪新闻网数据的实时采集和分析。项目包括数据采集（使用Python和Scrapy框架将新浪新闻数据存入MongoDB）、数据转存（使用Scala将数据从MongoDB实时导入HDFS）、数据分析与存储（使用Spark Streaming对HDFS上
spark基础详解：案例解析(第1天)
* 1- Spark基本介绍（了解）* 2- Spark入门案例（掌握）* 3- 常见面试题（掌握）
【Elasticsearch】Elasticsearch倒排索引详解
倒排索引是全文搜索引擎的核心数据结构，其主要作用是从文档中提取关键词，并建立关键词到文档的映射关系。这种结构与传统的正排索引（即文档到关键词的映射）相反，因此称为倒排索引。在倒排索引中，每个关键词都关联着包含该关键词的文档列表，这使得搜索操作能够迅速定位包含特定关键词的文档，从而大幅提高查询效率。
大数据爬虫
构建请求URL：将更新后的请求字典转换为JSON字符串，并去除其中的空格，然后对该字符串进行URL编码，最后将其附加到API基础URL上，形成完整的请求URL。处理响应文本并保存数据为CSV文件：如果JSON字典中的msg字段值为'OK'，则认为请求成功，并将结果添加到current_stock_r
Flink 窗口计算
在当今大数据时代，实时数据处理的需求日益增长，Flink 的窗口计算在这一领域中发挥着至关重要的作用。 窗口计算使得我们能够将无界的数据流切分成有意义的片段，从而进行特定时间段内的数据聚合和分析。
Hadoop框架
Hadoop由Apache Software Foundation开发，是一个用于存储和处理大数据的开源框架。它能够在计算机集群上分布式存储和处理大量数据，并具备高容错性和高可扩展性。Hadoop最初由Doug Cutting和Mike Cafarella开发，并以《指环王》中的角色“哈比人”（Ho
Hadoop
Hadoop开发是一个针对大规模数据集处理的开源分布式计算框架。以下是关于Hadoop开发的一些关键信息和概念：一、Hadoop概述Hadoop是一个开源的分布式计算框架，主要用于处理大规模数据集。它包含两个核心组件：Hadoop Distributed File System (HDFS) 用于存
大数据 - Spark系列《九》- 广播变量
广播变量是Spark中一种重要的分布式数据共享机制。本文首先介绍了广播变量的简介和特点，然后探讨了其使用场景，并详细讲解了创建、访问和销毁广播变量的方法。此外，还分析了不适用广播变量的问题。最后，文章深入解释了广播变量的分发和读取机制，包括创建原理和读取原理。通过本文的学习，读者将全面了解广播变量在
【数据中台】基于大数据AI的数据中台建设方案
通过构建统一的数据采集与整合平台，实现对各类业务数据、用户数据、外部数据等的全面采集和整合。采用数据抽取、转换、加载（ETL）技术，确保数据的准确性和一致性。基于大数据AI的数据中台建设方案是一个综合性的项目，旨在通过整合大数据和人工智能技术，构建高效、灵活且智能的数据中台，以支持企业的数据管理和应
这款信创FTP软件，可实现安全稳定的文件传输
飞驰云联是中国领先的数据安全传输解决方案提供商，长期专注于安全可控、性能卓越的数据传输技术和解决方案，公司产品和方案覆盖了跨网跨区域的数据安全交换、供应链数据安全传输、数据传输过程的防泄漏、FTP的增强和国产化替代、文件传输自动化和传输集成等各种数据传输场景。《Ftrans SFT文件安全传输系统》
linux下3.1.3Hadoop中hdfs环境详细配置过程
移动到该目录下，注意如果是在下可能找不到该目录，需要多执行一步cd /回到根目录cd etc打开里面的hosts文件vi hosts在该文件增加HDFS涉及的所有节点的ip地址和节点名称，例如我的就是：……执行完后记得回到~下。
企业im（即时通讯）作为安全专属的移动数字化平台的重要工具
企业在选择私有化部署的企业IM平台时，应根据自身需求和实际情况进行评估，选择一款可靠、灵活、安全的平台，以提高团队协作效率和数据安全性。WorkPlus企业im即时通讯集成平台的主要功能是支持私有化部署，提供了强大的移动平台底座能力，包含im即时通讯、移动应用管理、服务号、分级管控、用户行为分析等。
