ElasticSearch7.X和ElasticSearch8.X学习记录
当我们使用sql进行查询时，假如总共有3天数据，但是我们的查询语句只需要返回2条数据，则剩下的这条数据就会进入cursor中，在后续查询中，可以直接使用cursor进行查询，只可以取用一次，多次使用时，结果是返回空，游标是消耗性能的，可以使用close进行关闭。为防止数据节点宕机或者挂掉，影响服务的
【Spark NLP】第 6 章：信息检索
在上一章中，我们遇到了难以描述语料库的常用词。这是不同种类的 NLP 任务的问题。幸运的是，信息检索领域已经开发了许多可用于改进各种 NLP 应用的技术。早些时候，我们谈到了文本数据是如何存在的，并且每天都在生成更多。我们需要一些方法来管理和搜索这些数据。如果有 ID 或标题，我们当然可以对这些数据
[数据分析干货]四种简单常用的数据分析方法，学完立马升职加薪！
今天为大家介绍4种常用的数据分析方法，学完立马升职加薪！
【数据库04】中级开发需要掌握哪些SQL进阶玩法
这篇文章我们将不放过任何死角的介绍中级开发的SQL进阶玩法，学习具有更复杂形式的SQL查询，比如视图及其物化，复杂check与断言，自定义数据类型，行级授权
大数据编程技术基础实验八：Flume实验——文件数据Flume至HDFS
大数据技术基础实验八，学习安装部署Flume并将写入Flume的文件数据上传至HDFS。
【Hadoop配置】用最短的时间配置伪分布式Hadoop（个人亲身经历）
2022.10.26晚进行实验时，需要使用到hdfs上传文件，但是半年没用过虚拟机了，忘记了hadoop的安装位置，导致无法启动节点，于是将虚拟机上的原hadoop文件夹删除，将hadoop用户删除，重新配置了hadoop，为帮助遇到类似问题的小伙伴，同时也做一个记录以备我需要时查阅，特此记录全过程
Hudi Java Client总结|读取Hive写Hudi代码示例
Hudi除了支持Spark、Fink写Hudi外，还支持Java客户端。本文总结Hudi Java Client如何使用，主要为代码示例，可以实现读取Hive表写Hudi表。当然也支持读取其他数据源，比如mysql，实现读取mysql的历史数据和增量数据写Hudi。
使用MapReduce求ncdc气象数据中的最低温度
使用MapReduce求ncdc气象数据中的最低温度
大数据基础之java常用API三（SimpleDateFormat类和Calendar类的使用）
java SimpleDateFormat,Calendar类的介绍和使用
为什么要做数据治理以及如何进行数据治理？
多国将数据战略上升为国家战略数据治理是促进数据价值实现重要保障数据开放共享是释放数据价值基础条件数据质量管理是释放数据价值的关键环节流程化提供工作流程与模板将数据治理工作拆解为需求调研、 概要设计、 详细设计、 数据开发、 部署运维、 培训六个阶段， 并规定每个阶段的输入输出内容及模板自动化提供产品
在DataPhin基于PySpark实现主键重复就自动失败以提高运维的半自动化水平
在DataPhin基于PySpark实现主键重复就自动失败以提高运维的半自动化水平
Linux下编写shell脚本一键启动HBase
zookeeper启动、停止脚本。hadoop启动、停止脚本。hbase启动、停止脚本
想了解流计算？你必须得看一眼，实现Flink on Yarn的三种部署方式，并运行wordcount计算任务
想了解流计算，你必须得看一眼，实现Flink on Yarn的三种部署方式，并运行wordcount,7000字奉上
【黄啊码】MySQL入门—9、什么？都2022了，还不知道什么是事务？
【黄啊码】什么是MySQL事务？事务的特性是什么？MySQL事务语法
Flink / Scala 实战 - 18.一套代码搞懂 KeyedState
Flink - ValueState 、ListState 、 ReducingState 、AggregateState、MapState 实战 demo。
这家公司只有1个人，年赚一个亿
金磊 Pine 发自 凹非寺量子位 | 公众号 QbitAI全公司上下仅有1个人，每年竟能赚上1400多万美元（1亿多元）。这并不是什么天方夜谭，而是现实生活中上演的真人真事。故事的主人公叫做Gary Brewer（简称“盖哥”），而他之所以能如此猛猛吸金，靠的就是自己创办的网站BuiltWith。
大数据项目之电商数仓、数据仓库概念、项目需求及架构设计
比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据。：用户在使用产品过程中，通过埋点收集与客户端产品交互过程中产生的数据，并发往日志服务器进行保存。数据仓库，并不是数据的最终目的地，而是为数据最终的目的地做好准备。这些准备包括对数据的：备份、清
[机器学习、Spark]Spark MLlib实现数据基本统计
MLlib提供了很多统计方法，包含摘要统计、相关统计、分层抽样、假设检验、随机数生成等统计方法，利用这些统计方法可帮助用户更好地对结果数据进行处理和分析MLlib三个核心功能：1.实用程序：统计方法，如描述性统计、卡方检验、线性代数、模型评估方法等2.数据准备：特征提取、变换、分类特征的散列和一些自
【数据库】03——初级开发需要掌握哪些SQL语句
SQL语言是一种“查询语言”，但除了查询数据库，他还有很多功能：定义数据结构、修改数据库中数据以及定义安全性约束，学习SQL重点不是学习整个完整的用户手册，而是其基本结构和概念，工作中入门SQL，看这篇就足够了。
【大数据基础之java单列集合】
java单列集合
