Spark 的学习笔记
Apache Spark 是一个快速的，多用途的集群计算系统。它提供了 Java，Scala，Python 和 R 的高级 API，以及一个支持通用的执行图计算的优化过的引擎，它还支持一组丰富的高级工具，包括使用 SQL 处理结构化数据的 Spark SQL，用于机器学习的 MLlib，用于图计算的
Hive的安装与配置——第1关：Hive的安装与配置
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ysxGddek-1666195111052)(D:\文件\大三上\大数据库\educoder_Hive的安装.png)]版本就说明安装成功，但是可以看到其中有一些警告信息，是由于包的冲突引起的。补充完代码后，点击测评，平台
HBase基础及shell操作
什么是HBaseHBase是采用java语言编写的一款 apache 开源的基于HDFS的NoSQL型数据库，不支持 SQL，不支持事务，不支持Join操作，没有表关系HBase特点1.不支持事务2.主要存储结构化数据以及半结构化的数据3.HBase中数据存储都是以字节的形式来存储的4.HBase
OpenStack简介 | 常见的基础组件
OpenStack是由美国国家航空航天局NASA)与Rackspace公司合作研发并发起的，以Apache许可证授权的自由软件和开放源代码的云计算技术解决方案，其是一个项目也是一个软件，主要用于实现云项目，以云项目操作系统而存在。作用: 用于部署公有云、私有云，并实现对云项目管理。
Kafka多生产者消费者自动配置
自动注册多生产者、多消费者Kafka实例
20天学习Spark（1）之Spark UI的使用
Spark UI的使用方式
Android 系统的分区
1.modem分区，主要是手机短信的通讯模块；2.bootloader分区，主要用于线刷；3.recovery分区，只有用于普通刷机；4.boot分区，用于启动；5.system分区，系统分区；6.data分区，用户分区;7.cache分区：存储使用过程中的缓存数据8.vendor：包含有厂商私有的
sparksql 读取hive表子目录问题排查
sparksql读取hive表子目录问题
高斯数据库gaussDB（DWS），全网首篇对标MySQL命令集合文章
在正式开始前需要提前创建一下 VPC，位置入口如下所示。在打开的页面配置如下信息，然后创建即可。其中首要进行的修改是 基本名称 和 子网名称创建完毕之后的结果如下所示：接下来就可以配置高斯数据库 DWS 了，功能入口地址为 大数据->数据仓库服务 GaussDB(DWS)这里按照华为云提示输入即可，
Java代码实现kafka的消息生产与消费
生产者发送消息到我们的topic分区上，需要等待我们kafka返回的ack，如果没有返回就会进入3s的阻塞，retry3次——>抛出异常（这里面我们可以将信息记录到文件日志中）生产者并不是直接把消息推送给kafka的——>利用了消息缓冲的机制，kafka本地线程默认会创建一个缓冲区 ，用来存放发送的
SpringBoot下RabbitMQ的实战应用：动态创建和动态监控队列、死信、备份交换机
每个用户对应一个普通队列；当用户过多时，相应的队列也会很多，并且队列是持久化的，会占用较多的系统资源；交换机收到消息，但无法投递时，转发至备份交换机，再广播至对应队列。缓存操作不是本文的重点，用模型类代替；缓存中未得到确认的消息，由定时器重新发送；用户登录后，动态切换要监控的队列；未发送成功的消息，
Flink1.14 connector-jdbc插入更新(Upsert)模式的源码解析
基于flink jdbc方言(dialect)里不同Statement何时、如何被调用的思考。前言：在修改flink-connector-jdbc源码时，观察到jdbc有方言的实现，在 JdbcDialect.class 里存在insert/update和upsert两种更新语义，所以研究下何种情况
rabbitmq新增用户
如果想要跨机器登录RabbtiMQ的web管理平台，就需要新建用户，而不能用默认的用户guest。下面记录一下新增用户的步骤：1.添加新用户，用户名为root，密码为1234562.为该用户分配所有权限3.设置该用户为管理员角色现在就可以用root用户在其他机器上登录RabbitMQ的web管理平台
RabbitMQ 消费端异常重复循环小记
1.将抛异常的地方干掉,自己处理异常的机制,这样每次都是自动应答 显而易见这样就解决了,但是相当于报异常的时候自己要去写方案去处理,否则这条消息就丢了,因为MQ认为消息已经是消费成功了2.try catch需要处理的异常,直接抛出来,交给MQ,到上限进入死信队列这种方式需要配置最大重试
Spark 任务提交流程说明
本篇主要阐述 Spark 任务提交的流程，其主要目的在于通过了解 Spark 任务提交可以清楚大概的流程，并知道每一步是做什么；当遇到问题可以快速的知道是什么环节或者哪一步骤出现了问题，及时定位到问题并解决。目前Spark官方支持五中集群管理模式，分别是 Standalone、Yarn、Mesoes
flink 复postgresql数据库数据
flink 数据库 数据复制
虚拟机连接mysql出现的问题
1:下载mysql出现无法解析的问题在端口号和网关配置没有出错的前提下，进去etc目录下通过命令vim resolv.conf进去并添加以下内容。可以通过:ping 8.8.8.8测试是否成功，在输入时前面一定不能有空格。2.在进入mysql时输入密码出现not found这是因为初始密码中存在特殊
高校学生就业管理系统
数据库课设
docker、docker-compose部署elasticsearch集群
使用docker-compose部署elasticsearch集群，在开发学习环境中使用
JDBC进行批量插入数据操作
通过逐层优化的方式来介绍如何向数据库进行批量插入
