【云原生】Spark on k8s 讲解与实战操作
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapRe
大数据Hadoop之——Apache Hudi 与 Presto/Trino集成
Apache Hudi是一个快速增长的数据湖存储系统，可帮助组织构建和管理PB级数据湖。Hudi通过引入诸如升序、删除和增量查询之类的原语，将流式处理引入到批处理式大数据中。这些功能有助于在统一服务层上更快、更新鲜的数据。Hudi表可以存储在Hadoop分布式文件系统（HDFS）或云存储上，并与流行
认识DataX及简单入门
认识DataX及简单入门
有关flink数据消费速度的问题
1、反压产生的场景反压经常出现在促销、热门活动等场景。短时间内流量陡增造成或者。Flink会因为数据堆积和处理速度变慢超时，而checkpoint是Flink保证数据一致性的关键所在，最终会。
FlinkSQL-- sql-client及源码解析 -- flink-1.13.6
flink sql client及源码解析
Elasticsearch：高级数据类型介绍
在本文中，我们学习了高级数据类型，如 object、nested、flattened 以及其他如 geo_point 和 search_as_you_type。有关其他数据类型的更多详细信息以及深入的讨论和代码示例，请详细参阅 “Elastic：开发者上手指南。
Java(100):Java操作elasticsearch增删查(按条件查删)(RestHighLevelClient)
Java操作ES增删查(RestHighLevelClient)
UI设计 ，我只推荐这6个网站，真的太好用了。
很多设计师都知道站酷、花瓣、设计之窗等网站，这里我就不再推荐了。下面这几个UI设计网站，设计师们一定要收藏起来，每天坚持浏览这些网站，可以快速的提升你的UI设计水平。免费设计素材下载：https://www.sucai999.com/?v=NTYxMjky1、Dribblehttps://dribb
Groovy的规则脚本引擎实战
Groovy的规则脚本引擎实战
【笔记】使用Twitter API V2进行数据爬取的经验总结
这篇笔记主要是基于自己使用API过程中遇到的问题以及不断的尝试形成的经验总结，欢迎大家参考和交流
【2023】Prometheus-相关知识点（面试点）
整理了一些prometheus相关的知识点，面试点
一文告诉你什么是财务数据治理？
干货满满！
ES text/keyword match/term/模糊查询区别
ES text/keyword match/term/模糊查询区别
挑战杯、互联网+大学生创新创业大赛《模块化多功能生态农庄》
（一）项目背景改革开放30年来，我国国民经济飞速发展，人民生活水平提高，城镇居民收入增加，整天生活在喧嚣的城市中的人们对大自然的山水风景、农村的田园风光有一种独钟。在喧嚣的、飞速发展的城市中，人们的生活节奏加快，逐渐给人们的身心形成了巨大的压力。这些人急需一处世外桃源来贴近大自然放松身心，释放压力。
大数据｜Hadoop系统
📚Hadoop介绍
kafka命令行：从指定时间开始消费
kafka命令行指定开始消费时间
docker-compose 安装 es集群、kibana、cerebro、Logstash 导入测试数据
此集群为 3 节点，故创建 es01，es02，es03 三个文件夹，在每个文件夹下新建 data、conf、plugins 文件夹。在 es0x/conf 创建 elasticsearch.yml，添加如下内容。4、启动集群，在docker-compose文件所在目录下运行命令。3、编写 dock
西安交通大学SQ轴承数据集（文末附数据）
西安交通大学SQ轴承数据集
Hive 导出数据到 CSV 文件
spark 导出的是一个目录，我们需要拿到目录下的 csv 文件。最后，按题目要求改成指定路径与名称就可以啦，这里就不操作了。在 spark-shell 中导出。直接在 Hive 界面中进行操作。：以带表头的方式查询。的就是我们的结果文件。
ELK 8.5版本安装教程（一）
由于公司需要搭建一个ELK日志平台，看了一下最新的8.5版本还可以，加了权限管理，可观测性等功能，所以就试下使用8.5版本，此教程基于docker-compose安装ELK的。我这里是直接使用filebeat推送到了Elasticsearch，所以logstash没有安装。由于是新版本，所以踩坑还是
