Elasticsearch系列 | 前期准备
🎯摘要看完本文，你可能有如下收获：了解基于windows下Elasticsearch的环境搭建了解一些环境准备中常见的问题及解决方法⭐️⭐️该收获仅供参考，真实收获以实物为准😇😇🍭环境准备下载elasticsearch在官网下载相关文件安装包下有一个自带的jdk，如果本机设置了JDK_HOM
Elasticsearch系列 | 倒排索引
了解正排索引，了解倒排索引及其与正排索引区别。
在Windows操作系统中怎样使用nc命令
最近在学习flink流处理框架这块的内容，在调试代码时候需要模拟数据流式输入的环境。之前在Mac和Linux系统下使用nc命令是非常方便的，可是windows环境下有所不同，经过在网上检索一番之后，将在window下如何使用nc命令进行总结。
一文学会基于发布订阅模式的消息队列Kafka的安装部署和基本使用
Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。
记一次解决jar包版本问题解决
The class hierarchy was loaded from the following locations: org.springframework.kafka.listener.ConsumerProperties:Correct the classpath of your appli
数据库密态等值查询概述及操作
目录1. 密态等值查询概述2. 使用gsql操作密态数据库操作步骤3.使用JDBC操作密态数据库连接密态数据库调用isValid方法刷新缓存示例执行密态等值查询相关的创建密钥语句执行密态等值查询相关的创建加密表的语句执行加密表的预编译SQL语句执行加密表的批处理操作1. 密态等值查询概述随着企业数据
大数据笔记（五）：HDFS权限和Java的api使用
HDFS是一个文件系统类似unix、linux有用户概念HDFS有相关命令和接口去创建用户有超级用户的概念 linux系统中超级用户：root hdfs系统中超级用户： 是namenode进程的启动用户有权限概念 hdfs的权限是自己控制的来自于hdfs的超级用户
大数据框架综合实验作业
1、数据raw_user.csv：完整用户数据，记录2000万左右（见网盘-实验步骤-综合案例1数据）small_user.csv：子集，方便测试，记录30万条我们用small_user.csv这个小数据集进行实验，这样可以节省时间。等所有流程都跑通以后，可以使用大数据集raw_user.csv去测
[Dubbo3.0.8源码解析系列]-16-模块发布器发布服务全过程
目录16-模块发布器发布服务全过程16.1 简介16.2 导出服务的入口16.3 服务配置导出服务16-模块发布器发布服务全过程16.1 简介Dubbo做为服务治理框架,比较核心的就是服务相关的概念,这里我先贴个找到的关于Dubbo工作原理的架构图:如果按完整服务启动与订阅的顺序我们可以归结为以下6
Elasticsearch 从入门到实战到精通（Docker版）
解决什么问题有关系型数据库MySQL 为什么还用全文搜索引擎（Elasticsearch/Solr）?MySQL 侧重数据存储，用like进行简单关键字搜索，但无法应对海量数据下各种复杂条件的查询。如果需要全文进行模糊搜索,MySQL性能是非常低的.例如如下场景: 在一张一亿数据量的手机详情表，搜索
【大数据】Hive基础知识
Hive基础知识1.Hive 有哪些特点？Hive 最适合于数据仓库应用程序，使用该应用程序进行相关的静态数据分析，不需要快速响应给出结果，而且数据本身不会频繁变化。Hive 不是一个完整的数据库。Hadoop 以及 HDFS 的设计本身约束和局限性的限制了 Hive 所能胜任的工作。其中最大的限制
【RabbitMQ Confirm和returns保证生产者消息可靠性】
RabbitMQ Confirm和returns保证生产者消息可靠性RabbitMQ生产者消息可靠性实验环境软件环境和版本spring boot yml 配置RabbitMQ控制台创建交换机和队列并绑定最基本的生产者代码消息生产者流程梳理消息发送流程图简单理解两种机制confirm：returns：
图解Kafka的RecordBatch结构
文章目录RecordBatchRecordBatch初始化写入消息Record结构图关闭ProducerBatch关闭输出流appendStream并压缩数据填充RecordBatchHeader数据RecordBatchHeader结构图RecordBatch整体结构图阅读完本文你大概会获得以下知
二、elasticSearch的CRUD操作和批量操作
elasticSearch的CRUD操作和批量操作
四、elasticSearch分词器(Analysis和Analyzer)
elasticSearch分词器(Analysis和Analyzer)
【Pyspark】常用数据分析基础操作
文章目录零、准备工作0.1 安装pyspark一、pyspark.sql部分1.窗口函数2.更换列名：3.sql将一个字段根据某个字符拆分成多个字段显示4.pd和spark的dataframe进行转换：5.报错ValueError: Some of types cannot be determine
2022中青杯数学建模B题完整代码思路
众所周知，人口的数量和结构是影响社会和经济发展的重要因素。中国经历了从“计划生育”到“全面的两个孩子”，再到“自由化三个孩子”的政策实施，这是对中国人口发展趋势不断变化的调整。这三个儿童政策是中国实施的计划生育政策，以积极应对老龄化人口。 2021年5月31日，CPC中央委员会的政治局举行了一次会议
数据科学必备Pandas数据分析可视化常用举例
学Python数据科学，玩游戏、学日语、搞编程一条龙。整套学习自学教程中应用的数据都是《三國志》、《真·三國無雙》系列游戏中的内容。可视化是数据科学中必不可少的部分。Python 流行的数据分析库pandas提供了 .plot() 方法进行数据可视化。即使新手阶段也能很快就会创建基本图，从而对数据产
尚硅谷大数据技术之Hadoop（MapReduce）
文章目录MapReduce定义MapReduce核心思想WordCount案例Hadoop序列化MapReduce框架原理InputFormat数据输入MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核
RDD转换为DataFrame
spark官方提供了两种方法实现从RDD转换到DataFrame。第一种方法是利用反射机制来推断包含特定类型对象的Schema，这种方式适用于对已知的数据结构的RDD转换；第二种方法通过编程接口构造一个 Schema ，并将其应用在已知的RDD数据中。（一）反射机制推断Schema在Windows系
