Flink高频面试题( 精简 )
作为大数据领域炙手可热的大数据组件，Flink作为大数据行业跳槽必问的组件，整理一些Flink相关的面试题供大家参考，有些题言简意赅即可，大多数的博客冗余一堆的知识点，看完要好久，我想帮大家提炼总结出核心的点，以帮助大家临阵磨枪，短时间掌握，当你把知识提炼出来，你会发现你的知识进步了，当你把简单提炼
Elasticsearch：运用 Python 实时通过 Logstash 写入日志到 Elasticsearch
在我之前的文章，我详细地介绍了如何通过 Filebeat 来收集日志并写入到 Elasticsearch。在今天的文章中，我将分享如何使用 Logstash 把日志文件发送到 Elasticsearch。使用 Logstash 的好处是它可以很方便地使用它丰富的过滤器对数据进行清洗以便更好地对数据进
Elasticsearch：构建自动补全功能 - Autocomplete
什么是自动补全（autocomplete）功能呢？我们举一个很常见的例子。每当你去谷歌并开始打字时，就会出现一个下拉列表，其中列出了建议。这些建议与查询相关并帮助用户完成查询。Autocomplete 正如所说的：Autocomplete 或单词完成是一个功能，应用程序预测使用的其余单词正在键入它也
Hbase常用命令
Hbase常用命令
PageInfo介绍及使用
1. MyBatis分页插件－PageHelper的配置导入依赖 <!--引入PageHelper分页插件 → PageHelper--> <dependency> <groupId>com.github.page
基于Hadoop的用户购买行为的商品推荐系统
目录一 绪论 11.1 编写目的 11.2 背景及意义 11.3 开发及运行环境 2二 需求分析 32.1 系统概述 32.3 系统功能需求 42.3.1 收集原始数据 42.3.2 计算物品相似度矩阵 42.3.3 计算用户购买向量 52.3.4 计算推荐向量并去重和排序 52.3.4 数据入库
关于Elasticsearch报错 analyzer [ik_smart] not found for field问题
关于Elasticsearch报错 analyzer [ik_smart] not found for field问题
1——Hive数仓项目完整流程（在线教育）
在线教育数仓实战
ruoyi quartz和xxl-job介绍
最近在做一个基于ruoyi框架的项目的IOT项目，本文将xxl-job与ruoyi自带的quartz进行比较。
Kafka可视化管理工具-CMAK（kafka-manager）
一、简介为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager（已改名为 cmak）。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群
Spark中的Shuffle
一、Spark Shuffle 概述 大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网 络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也 必须提醒大家的是，影响一个Spark作业性能
虚拟信用卡
虚拟信用卡，又称：虚拟VISA信用卡、虚拟MASTER信用卡、visa虚拟信用卡、虚拟卡、国际信用卡、任务卡、游戏激活卡、PayPal激活卡、EB激活卡和iOffer激活卡等，是针对没有国际信用卡或者因担心信用卡付款安全的用户需要国外网上购物、激活各类网上账号、充值等情况推出的产品。支持多游戏平台S
数据库第一范式，第二范式，第三范式详解
数据库第一，第二，第三范式
JAVA高效率 (秒级) 将千万条数据导入数据库 (已封装工具类)【详解】【一看就懂】
最近在导入一个500w+的数据至数据库时，遇到一个异常，相信做大数据应该都有遇到。500w的数据说大不大，说小也不小，既然问题出现了，那么就一定要解决。异常如下图所示：所使用的方法在如下链接：MySQL数据库10秒内插入百万条数据 （多字段）【详解】由于数据通过该方式转换为一条sql，执行读取工作量
手把手教你使用Python做数据分析
一、数据分析是什么数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用，使得数据的价值最大化二、数据分析是做什么的数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。 数据分析的数学基础在20世纪早期
RabbitMQ六种工作模式
从某种意义上说，消费者的限流策略有助于那么处理消息效率高的消费者多消费一些消息，效率低一些的消费者少推送一些消息，从而可以达到能者多劳的目的，尽可能发挥消费者处理消息的能力。在项目中，为了缓解生产者和消费者两边效率不平衡的影响，通常会对消费者进行限流处理，保证消费者端正常消费消息，尽可能避免服务器崩
4A（统一安全管控平台）解析
4A是指帐号（Account）、认证（Authentication）、授权（Authorization）和审计（Audit），4A统一安全管控平台是以身份为中心，实现帐号、认证、授权和审计统一管控的安全访问平台，可为企业IT系统提供综合安全防护。此类产品国际上通常称为IAM（Identity and
Kafka topic分区增加副本
Kafka中topic的每个分区可以设置多个副本。如果副本数为1，当该分区副本的leader节点宕机后，会导致该分区不可用。故需要设置多副本来保证可用性。实际项目中，存在项目初期创建了副本数为1的topic，但是后期又需要扩大副本数的场景。通常不能直接删除topic重建，可以通过如下操作实现。
数据湖架构Hudi（三）Hudi核心概念
数据湖架构Hudi（三）Hudi核心概念
Elasticsearch：将关系数据库中的数据提取到 Elasticsearch 集群中
本指南介绍了如何使用 Logstash JDBC 输入插件通过 Logstash 将关系数据库中的数据提取到 Elasticsearch 集群中。它演示了如何使用 Logstash 高效地复制记录并从关系数据库接收更新，然后将它们发送到 Elasticsearch 中。此处提供的代码和方法已经过 M
