RDD转换为DataFrame
spark官方提供了两种方法实现从RDD转换到DataFrame。第一种方法是利用反射机制来推断包含特定类型对象的Schema，这种方式适用于对已知的数据结构的RDD转换；第二种方法通过编程接口构造一个 Schema ，并将其应用在已知的RDD数据中。（一）反射机制推断Schema在Windows系
大数据入门学习指南
大数据入门学习指南前情提要大数据入门核心技术栏目刚打造出来没多久，内容十分丰富，集合将近200篇高质文章带你轻松入门。但是由于文章很多，集合很多不同系列的知识点，在栏目里面难以标注顺序，这次博主花时间整理一份详细的学习指南，对于新手是非常友好的。只要跟着学，想进入大数据做开发是很容易的，前提你得自律
Python系列之：使用kafkaProducer发送数据到topic，KafkaConsumer消费topic数据
Python系列之：使用kafkaProducer生产数据，KafkaConsumer消费数据一、构建KafkaProducer二、生成数据并发送数据到Kafka Topic三、使用kafkaProducer发送数据到topic完整代码四、构建KafkaConsumer五、消费topic数据六、Ka
Spark - saveAsTable + rename = 坑
目录一、背景二、环境及测试场景①、环境②、测试场景三、复现历程①、场景探索②、测试用例（写数据）1. rename表（hive引擎）2. 观察rename后表结构3. 记录下rename后的目录状态4. jar包 insertInto写入第二批数据③、测试用例（读数据）1. hive引擎读新路径(l
Linux下安装Zookeeper步骤
手把手操作，各种命令详情。 请阅览
Elasticsearch8.x java客户端使用
Elasticsearch8.x Java API客户端使用，含配置查询操作...
Apache druid安装
Apache druid运行需要依赖其他一些软件环境，所以需要先安装依赖环境，最后再安装druid。这些依赖的环境包括：jdk zookeeper kafka1 jdk安装# 解压命令tar -zxf jdk-8u191-linux-x64.tar.gz -C /usr/local/# 修改配置命令
关于MySQL查询条件问题的优化
前言技术能解决的事情改技术技术解决不了的事情该需求现状假设我们目前有两张表业务表 书（ t_a_book ） 阅读历史记录表 (t_r_book_history) 用户表其两张表的数据逻辑如下t_a_bookt_r_book_historyt_a_user当然了，我们假设当前的数据量并不只是我们眼
【ElasticSearch】（五）—— DSL查询文档
目录1）DSL查询分类2）全文检索查询1、使用场景2、基本语法3、示例4、总结3）精准查询1、term 查询2、range查询3、总结4）地理坐标查询1、矩形范围查询2、附近查询5）复合查询1、相关性算分2、算分函数查询3、布尔查询elasticsearch的查询依然是基于JSON风格的DSL来实现
【kafka专栏】生产级集群安装主机之间ssh免密登录
为了保证一台Linux主机的安全，每个主机登录的时候都需要账号密码。但是很多时候为了操作方便，需要设置集群互信主机之间的SSH免密码登录。
SpringBoot整合Elasticsearch开发
SpringBoot整合elasticsearch能够快速的进行Elasticsearch开发,利用SpringBoot的自动注入，大大提升了Java开发的效率
Spring Boot 2.7.0发布，2.5停止维护，节奏太快了吧
这几天是Spring版本日，很多Spring工件都发布了新版本， Spring Framework 6.0.0 发布了第 4 个里程碑版本，此版本包含所有针对 5.3.20 的修复补丁，以及特定于 6.0 分支的 39 项修复和改进。而今天Spring Boot 2.7.0和Spring Secur
Hadoop之实战WordCount
大致流程如下：第一步：开发Map阶段代码第二步：开发Reduce阶段代码第三步：组装Job在idea中创建WordCountJob类添加注释，梳理一下需求：需求：读取hdfs上的hello.txt文件，计算文件中每个单词出现的总次数hello.txt文件内容如下：hello youhello me最
熟悉常用的HBase操作
HBase是一个分布式的、面向列的开源数据库,源于Google的一篇论文《BigTable：一个结构化数据的分布式存储系统》。HBase以表的形式存储数据，表有行和列组成，列划分为若干个列族/列簇(column family)。欲了解HBase的官方资讯，请访问[HBase官方网站](http://
home credit default risk（捷信违约风险）机器学习模型复现(论文_毕业设计_作业)
home credit default risk（捷信违约风险）机器学习模型复现(论文_毕业设计_作业)
HBase几种安装方式
HBase几种安装方式一、前提说明二、具体安装步骤一、前提说明Hadoop已经完成安装（如伪分布式、全分布式等）zookeeper已经完成安装（全分布式和HA模式需要）环境对应关系如下：hbase环境对应hadoop环境对应外部zookeeper环境本地模式不需要不需要伪分布式伪分布式单机安装（也可
Rasa 3.x 学习系列-Rasa 3.1+ ElasticSearch 8.2.0 对话机器人实战六
ElasticSearch 导入Rasa电影案例数据基于 ElasticSearch的Rasa智能对话机器人开发Rasa 3.1.0 KnowledgeBase 源代码分析基于 ElasticSearch的Rasa 对话互动场景Rasa对话机器人和用户打招呼Rasa对话机器人协助用户查询电影Rasa
网络安全----数据库1
网络安全
windows定时任务准点运行kettle转换、作业等
kettle定时作业任务，时间间隔几十分钟跑一次时，将不会在你设置的时间准时启动？此文章教程将教你利用Windows自带cmd命令和定时任务计划功能，准时准点启动，毫秒不差，适合有准点运行需求的，教程内容简单易懂，此方法适合初级秃头学习使用
【BigData】Scala语言的简要介绍以及在window下安装Scala
Spark是专为大规模数据处理而设计的快速通用的计算引擎,它是用Scala语言开发实现的。大数据技术本身就是数据计算的技术,而Scala既有面向对象组织项目工程的能力，又具备计算数据的功能,同时与Spark 紧密集成。一、Scala概述Scala于2001年由瑞士洛桑联邦理工学院(EPFL)编程方法
