【大数据面试题】001 Flink 的 Checkpoint 原理
一步一个脚印，一天一道大数据面试题。Flink 是大数据实时处理计算框架。实时框架对检查点，错误恢复的功能要比离线的更复杂，所以一起来了解 Flink 的 Checkpoint 机制吧。
涤生大数据实战：基于Flink+ODPS历史累计计算项目分析与优化（上）
当一个用户在T日实时上传了自己的跑步记录，Flink节点1会计算出其 [当日0点起至此刻] 的跑步累计数据data1，Flink节点2会根据该用户id取hbase维表里查询其 [历史～T-1日] 的累计数据 data2 (hbase表里数据由odps每日更新，即T-1日的存量累计汇总数据)，将dat
大数据——hadoop环境安装（docker搭建）
###### 这个Dockerfile主要是基于CentOS镜像进行一些系统设置和软件安装，最终生成一个包含SSH服务的镜像。####### dockerfile的内容# 基础镜像# 作者# 将工作目录切换到`/etc/yum.repos.d/`# 使用sed命令注释掉mirrorlist行。# 使
大数据技术原理与应用实验指南——HBase编程实践
（1） 熟练使用HBase操作常用的Shell命令。（2） 熟悉HBase操作常用的Java API。（1） 安装HBase软件。（2） 编程实现指定功能，并利用Hadoop提供的Shell命令完成相同的任务（实现增、删、改、查基本操作，统计表的行数，打印表的记录等操作）。FileZilla
第二章：AI大模型基础知识 2.3 自然语言处理基础
1. 背景介绍1.1 自然语言处理的发展历程自然语言处理（Natural Language Processing，简称NLP）是人工智能领域的一个重要分支，它致力于让计算机能够理解、生成和处理人类语言。自20世纪50年代以来，自然语言处理技术经历了从基于规则的方法、基于统计的方法到现在基于
安全SaaS服务转型的优与劣
SaaS化转型似乎是安全行业近十年来最重要的趋势，当前行业内成功的企业，无不是充分利用了SaaS化重新构建了自己产品的。但SaaS化在国内安全企业中的现实情况并不理想，业内经常提到的原因是大中型企业没有这方面的意愿，因此安全企业构建SaaS化产品缺少客户基础。这诚然是原因之一，但更重要的原因可能是安
streampark+flink一键整库或多表同步mysql到doris实战
streampark+flink一键整库或多表同步mysql到doris实战，此应用一旦推广起来，那么数据实时异构时，不仅可以减少对数据库的查询压力，还可以减少数据同步时的至少50%的成本，还可以减少30%的存储成本；
我的大数据之路 - 生产变更方案的注意事项
我的大数据之路 - 生产变更方案的注意事项
BIG DATA —— 大数据时代
英] 维克托 · 迈尔 — 舍恩伯格 肯尼斯 · 库克耶 ◎ 著 盛杨燕 周涛◎译《大数据时代》是国外大数据研究的先河之作，本书作者维克托·迈尔·舍恩伯格被誉为“大数据商业应用第一人”，他在书中前瞻性地指出，大数据带来的信息风暴正在变革我们的生活、工作和思维，大数据开启了一次重大的
【Flink入门修炼】1-3 Flink WordCount 入门实现
本篇文章将带大家运行 Flink 最简单的程序 WordCount。先实践后理论，对其基本输入输出、编程代码有初步了解，后续篇章再对 Flink 的各种概念和架构进行介绍。下面将从创建项目开始，介绍如何创建出一个 Flink 项目；然后从 DataStream 流处理和 FlinkSQL 执行两种方
大数据 - Hadoop系列《四》- MapReduce（分布式计算引擎）的核心思想
本文主要介绍了MR的工作原理
从基础到高级：AI大模型开发的技术栈
1.背景介绍AI大模型开发的技术栈是指一系列用于构建和训练大型人工智能模型的技术和工具。这些模型通常涉及深度学习、自然语言处理、计算机视觉等领域。随着数据规模的增加和计算能力的提高，AI大模型的性能和应用范围不断扩大。本文将从基础到高级，详细介绍AI大模型开发的技术栈。1.1 背景AI大模型开
大数据与物联网的融合：改变传统商业模式
1.背景介绍随着互联网的普及和技术的不断发展，我们的生活和工作都变得更加智能化和高效化。物联网(Internet of Things，IoT)是一种新兴的技术，它将物理世界的设备与数字世界的网络连接起来，使得这些设备能够互相通信和协同工作。这种互联互通的设备被称为“物联网设备”或“智能设备”。物联网
HiveSQL——用户行为路径分析
HiveSQL——用户行为路径分析
从0开始构建自己的AI大模型
深度学习是一种通过神经网络模拟人类大脑的学习过程来自动学习和预测的技术。2006年，Hinton等人提出了Dropout技术，这是深度学习的重要突破。2009年，Hinton等人开发了深度卷积神经网络（CNN），这是深度学习的另一个重要突破。2012年，Alex Krizhevsky等人使用深度卷积
Hive3.1.3基础
1）Hive简介Hive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。那为什么会有Hive呢？它是为了解决什么问题而诞生的呢？下面通过一个案例，来快速了解一下Hive。例如：需求，统计单词出现个数。（1）在Hadoop中用M
大数据平台环境搭建---- Spark组件配置
Spark使用Scala语言进行实现，它是一种面向对象、函数式编程语言，能够像操作本地集合对象一样轻松地操作分布式数据集。参考文献：https://www.cnblogs.com/xupccc/p/9800380.html。复制Spark配置模板：cp spark-env.sh.template s
防范恶意勒索攻击！亚信安全发布《勒索家族和勒索事件监控报告》
亚信安全发布2024年第5期《勒索家族和勒索事件监控报告》，本周共监测到勒索事件81起，呈下降趋势。
Git 教程--分支管理，全网最全，看这一篇就够了
Rebase是一种用于整合分支的Git操作，它可以将一系列提交从一个分支应用到另一个分支上。解决冲突是在合并分支时常见的情况。当Git在合并过程中遇到两个不同分支上的相同文件的冲突时，它会将冲突标记为包含冲突的文件，并在文件中显示冲突的部分。当在软件开发过程中发现Bug时，通常会创建一个专门的Bug
如何构建AI大模型进行情感分析与挖掘
1.背景介绍情感分析（Sentiment Analysis）是一种自然语言处理（NLP）技术，旨在从文本数据中识别和分析人们的情感态度。随着人工智能（AI）技术的发展，情感分析已经成为一种重要的应用领域，具有广泛的实际应用价值，例如社交网络、电子商务、广告推荐等。在过去的几年里，情感分析技术已经取得
