数据湖（四）：Hudi与Spark整合
默认Spark操作Hudi使用表类型为Copy On Write模式。Hudi与Spark整合时有很多参数配置，可以参照https://hudi.apache.org/docs/configurations.html配置项来查询，此外，整合时有几个需要注意的点，如下:Hudi这里使用的是0.8.0版
第9篇：ElasticSearch分布式搜索6大能力
Elasticsearch最大的优势在于其检索能力。那为了适配日常不同业务的多种查询需求，Elasticsearch为我们提供了六大搜索方式: 轻量搜索、表达式搜索、复杂搜索、全文搜索、短语搜索和高亮搜索。
第2期：大数据岗位有哪些
目前大数据是一个非常有发展前景的岗位，在IT界薪资待遇也很高，很多人想从事这方面的工作，那下面我们谈谈大数据可以应用到哪些领域，需要哪些技术、都有哪些岗位。
ZooKeeper的配置选项的安装步骤
（一）下载和安装zooKeeper（1）在起始的/opt 目录下建立software文件和module文件，software文件用来下载安装包，下载后的安装包·可以·解压到module文件。可以用下面这一行代码：tar zxvf /opt/software/zookeeper-3.4.8.tar.g
Kafka中的LEO和HW
通过画图轻松理解kafka中的LEO和HW的概念与作用
flink的standalone模式环境搭建
一.standalone模式所有的资源都由flink自己管理flink的jar包：flink-1.11.2-bin-scala_2.11.tgz把安装包放到linux中bin #服务或命令conf #配置文件examples #实例，案例lib #jar包log #日志1.解压缩tar -xz
filebeat+elasticsearch管道提取message字段
1：个人使用背景：filebeat采集日志写入es的时候，日志内容在message字段中，因为其中添加了tid字段，要提取出projectname,date,tid等这些字段，采用管道对数据进行预处理，格式化数据，重新构建了索引，最后查询，排序，条件查询什么的都直接操作字段就可以了。 ps：原
hadoop启动集群之后没有namenode的一种情况
先说结论吧，一般在网上搜索这个问题都是让重新格式化namenode(当然，格式化之前要记得清空namenode和DataNode文件夹)。但是对于我之前遇到的问题却没法解决。我的做法是：检查你的hadoop的配置文件是否填写正确，我的hadoop的hdfs-site.xml中的主机IP地址未填写正确
Elasticsearch系列 | 前期准备
🎯摘要看完本文，你可能有如下收获：了解基于windows下Elasticsearch的环境搭建了解一些环境准备中常见的问题及解决方法⭐️⭐️该收获仅供参考，真实收获以实物为准😇😇🍭环境准备下载elasticsearch在官网下载相关文件安装包下有一个自带的jdk，如果本机设置了JDK_HOM
大数据笔记（五）：HDFS权限和Java的api使用
HDFS是一个文件系统类似unix、linux有用户概念HDFS有相关命令和接口去创建用户有超级用户的概念 linux系统中超级用户：root hdfs系统中超级用户： 是namenode进程的启动用户有权限概念 hdfs的权限是自己控制的来自于hdfs的超级用户
数据库之表的创建与管理
实验名称 表的创建与管理 实验时间 2022.05.11 实验目的和要求 1.掌握表结构的创建方法 2.掌握表结构的修改方法 实验内容 （1）创建教学数据库“teaching” （2）利用表
四、elasticSearch分词器(Analysis和Analyzer)
elasticSearch分词器(Analysis和Analyzer)
RDD转换为DataFrame
spark官方提供了两种方法实现从RDD转换到DataFrame。第一种方法是利用反射机制来推断包含特定类型对象的Schema，这种方式适用于对已知的数据结构的RDD转换；第二种方法通过编程接口构造一个 Schema ，并将其应用在已知的RDD数据中。（一）反射机制推断Schema在Windows系
大数据入门学习指南
大数据入门学习指南前情提要大数据入门核心技术栏目刚打造出来没多久，内容十分丰富，集合将近200篇高质文章带你轻松入门。但是由于文章很多，集合很多不同系列的知识点，在栏目里面难以标注顺序，这次博主花时间整理一份详细的学习指南，对于新手是非常友好的。只要跟着学，想进入大数据做开发是很容易的，前提你得自律
四大名著知识图谱可视化
四大名著人物关系分析实践，通过知识图谱可视化，从二维视觉突破到2.5维视觉，整体提升数据关系感知能力。
【ElasticSearch】（五）—— DSL查询文档
目录1）DSL查询分类2）全文检索查询1、使用场景2、基本语法3、示例4、总结3）精准查询1、term 查询2、range查询3、总结4）地理坐标查询1、矩形范围查询2、附近查询5）复合查询1、相关性算分2、算分函数查询3、布尔查询elasticsearch的查询依然是基于JSON风格的DSL来实现
大数据智能平台的构建策略与步骤
大数据是社会数字化的产物，随着业务成熟度的逐渐向上发展，面对的需求逐渐多样化和个性化，对于创新的要求也越来越高，因此可以说智能数据是大数据发展的高级阶段，是大数据在应用创新落地方向的核心要求。
客快物流大数据项目(六十七)：客户主题
文章目录客户主题一、背景介绍二、指标明细三、表关联关系1、事实表2、维度表3、关联关系四、客户数据拉宽开发1、拉宽后的字段2、SQL语句3、
基于大数据的股票数据可视化分析与预测系统
本项目基于 Python 利用网络爬虫技术从某财经网站采集上证指数、创业板指数等大盘指数数据，以及个股数据，同时抓取股票公司的简介、财务指标和机构预测等数据，并进行 KDJ、BOLL等技术指标的计算，构建股票数据分析系统，前端利用echarts进行可视化。基于深度学习算法实现股票价格预测，为投资提供
基于 Win10 平台 搭建 Elasticsearch 集群
基于 Win10 平台搭建 Elasticsearch 集群1. 基本概念1.1 单机和集群1.2 节点2. 部署集群3. 启动集群4. 测试集群1. 基本概念1.1 单机和集群✨单台 Elasticsearch 服务器提供服务，往往都有最大的负载能力，超过这个阈值，服务器性能就会大大降低甚至不可用
