JavaAPI操作Hive
JavaAPI操作Hive
hive创建表后怎么新增分区结构(创建表时没有创建分区)
hive在创建表时没有添加分区结构(希望大家不要杠,硬说是字段,只要您高兴,您怎么说都行),增加分区结构的方法
Neo4j使用记录--APOC和GDS的安装【实践】
对Neo4j的两个插件APOC和GDS在community版本中的安装流程进行了细致介绍,扫除安装盲点。
Windows下配置Hadoop及Spark环境
前言教程所用各版本说明一 JDK环境配置由于项目用的JDK17,所以单独给Hadoop配了JDK11,建议直接配置JAVA_HOME环境变量为JDK11,因为后面Spark需要用到JAVA_HOME下载jdk-11.0.13_windows-x64_bin.zip链接:https://www.or
手把手教你快速在生产环境搭建Doris集群附集群启停管理脚本
手把手教你快速在生产环境搭建Doris集群
ElasticSearch 分页查询及深度分页原理与实现
的方式要更加高效,而且在不断有新数据入库的时候仅仅使用 from 和 size 分页会有重复的情况,相比使用 scroll 分页,search_after 可以进行实时的查询,不过 search_after。分页的深度,ElasticSearch 的分页窗口默认最多允许 10000 条数据,即 在每
基于Hadoop生态的相关框架与组件的搭建
本篇文章,着重与Hadoop生态的相关框架与组件的搭建,以及不同框架或组件之间的依赖配置,使读者能够熟悉与掌握Hadoop集群的搭建,对于Hadoop生态有一定的认识。本次搭建三台虚拟机为hadoop01.bgd01、hadoop02.bgd01、hadoop03.bgd01,hadoop01.bg
【数据分析】:数据分析三大思路及方法
在上一篇博文【什么是数据分析】中,我们介绍了数据分析的基本概念、流程、方法。这篇文章我们来看看数据分析的基本思路以及常见的数据分析方法。接下来,我们来看看如何进行一个完整的数据分析过程。......
大数据Hadoop集群搭建 1(伪分布式集群)
(2)另一种是Hadoop集群自定义配置时编辑的配置文件,包括hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml和slaves共7个文件,可以根据需要在这些文件中对默认配置文件中的参数
11.Linux下Spark的安装配置以及spark-shell的启动和 Spark集群环境搭建
(1)安装Spark1.先用xftp将安装包传到home/hadoop/Downloads文件夹下,然后解压安装。2.解压缩:3. 更改文件夹名称:4.修改hadoop用户对文件夹spark的访问权限:(2)配置1.复制一份由Spark安装文件自带的配置文件模板:如图所示:返回结果:Pi is ro
RabbitMQ之TTL机制
介绍了RaBBitMQ的ttl过期时间
Linux下hive的安装(保姆级)
Hadoop集群上hive安装全过程,详细截图配文字说明
RabbitMQ如何实现延迟队列
rabbitmq实现延迟队列的方法
【Spark手机流量日志处理】使用SparkSQL按月统计流量使用量最多的用户
Spark SQL是Apache Spark的一个模块,提供了一种基于结构化数据的编程接口。它允许用户使用SQL语句或DataFrame API来查询和操作数据,同时还支持使用Spark的分布式计算引擎进行高效的并行计算。Spark SQL支持多种数据源,包括Hive、JSON、Parquet、Av
接口优化的目录(建议收藏)
许多开发者可能经历过这样的情形:一旦完成了代码的编写和发布,就觉得工作完成了,不再关注代码优化和改进。这是很常见的现象,因为在紧张的开发进程中,优化代码可能会成为一项非常困难的任务,需要花费大量的时间和精力。但是,如果您想成为一位高级开发人员,您需要了解一些优化技术,以提高代码的性能和可维护性。但是
毕业设计-国内疫情数据综合可视化分析系统
毕业设计-国内疫情数据综合可视化分析系统:自从2020年新型冠状病毒肺炎疫情发生后,人 们对疫情情况非常关注。大数据背景下,网络时刻 产生海量疫情方面数据,这些数据只有被合理解读 与展示,民众才能更好了解真实情况。借助网络爬虫技术和 Echarts技 术,再通过爬虫从网上获取到 每日疫情的 各 项
Elasticsearch:关于在 Python 中使用 Elasticsearch 你需要知道的一切 - 8.x
Elasticsearch 是一个非常强大的搜索引擎,使用非常广泛。本文的重点是使用 Python 批量创建 Elasticsearch 文档。我们仅仅触及了 Elasticsearch 搜索查询的皮毛。我有专门的文章介绍 Elasticsearch的 基本查询和高级查询,用于搜索和分析。Elast
万字泣血解析割韭菜内情,程序员别老想着做副业
今年见了不少人被割韭菜,下半年尤为严重,这种情形甚至在技术行业蔓延,令人深感大环境的复杂变化,所以我写这篇文章情真意切,希望大家不要做被割韭菜的人,副业可以适当了解接触,但作为程序员请千万不要老想着副业。
thinkphp5的消息队列详细教程
消息队列的概念、原理和场景在高并发的时候,程序往往无法做到及时的处理。我们引入一个中间的系统,来进行分流和减压。所以从本质上讲:消息队列就是一个队列结构的中间件。也就是说,你把消息和内容放入这个容器之后就可以直接返回,不用等它后期处理的结果。另外会有一个程序,读取这些数据并按照顺序处理。1、队列结构
CentOS7安装/卸载rabbitmq及踩坑(详细)记录
centos7中安装rabbitmq遇到的一些问题和解决方法记录