面试必问 | 聊聊Kafka的消费模型？
最近，有些读者去头条二面，被面试官问了一个关于Kafka的问题：多个Kafka消费者如何同时消费相同Topic下的相同Partition的数据？看似一个简单的问题，竟然把这位读者问懵了！今天，我们就一起来说说这个面试题，好了，开始今天的主题。
Scala编程实战 —— 一文学会编码大数据基础案例wordcount
使用scala编写代码实现spark的基础案例 WordCountwordcount是所有大数据框架都基本要做的案例，使用scala编写的wordcount代码对比hadoop更简洁更易写这主要是对scala集合中功能函数的熟悉与使用
分布式协调服务-ZooKeeper
What is ZooKeeper?
如何构建、部署运行Flink程序。
一、构建Flink程序构建一个Flink程序有两种方式# 方式一：构建 maven 工程，导入流式应用依赖包<!-- 基础依赖 --><dependency&.
GpMall电商系统 容器化部署
容器化部署GpMall
Rancher部署常用组件-redis、mysql、nacos等
首先选择 环境 - 应用 ，然后添加服务，不了解的可参考上篇Rancher安装redis参考的docker命令docker run --name redis -p 6379:6379 --restart=always -d redis:6.2.6 --requirepass qsxdr123! -v
spark2.4.0+scala2.11.12+sbt编程实现利用DataFrame读写MySQL的数据
1.要求(1) 在MySQL数据库中新建数据库sparktest，再建表employee，包含下列两行数据；idnamegenderage1AliceF222JohnM25表1 employee表原有数据mysql> create database sparktest;mysql> us
客快物流大数据项目(六十七)：客户主题
文章目录客户主题一、背景介绍二、指标明细三、表关联关系1、事实表2、维度表3、关联关系四、客户数据拉宽开发1、拉宽后的字段2、SQL语句3、
构建商业化思维，实现组织商业价值——商业分析学习笔记（1）
自从中国政府提出“互联网+”行动计划，很多行业和领域都经历了不同程度的变化。商业模式的创新，商业需求的变化、商业机会或者商业问题的呈现、也使得解决方案变得越来越多样化。而这一切都促使传统以关注执行为核心的项目管理向以商业价值为核心的全生命周期项目管理进行转变。商业分析与项目管理有着密切的联系，一旦某
[Dubbo3.0.8源码解析系列]-13-Dubbo的三大中心之元数据中心源码解析
13-Dubbo的三大中心之元数据中心源码解析13.1 简介关于元数据中心的概念对于大部分用户来说是比较陌生的,配置中心的话我们还好理解,对于元数据中心是什么,我们来看下我从官网拷贝过来的一段文字:元数据中心在2.7.x版本开始支持，随着应用级别的服务注册和服务发现在Dubbo中落地，元数据中心也变
一零四、大数据可视化技术与应用实训（展示大屏幕）
大数据可视化实训 通过flask，echarts展示大屏幕
架构道术-从电商系统看互联网场景下的分布式系统进化之路
如今，分布式系统对于很多开发人员而言已不再是一个陌生概念。尤其是在互联网高速发展的场景下，每年春晚抢红包、京东和淘宝的618和双11大促活动所承受如此大流量和高并发的情况下，还能保证系统高可用性，这些无一离不开分布式架构的作用。本文期望通过概括商城系统业务和技术的迭代和发展，来阐述分布式系统是如何进
大数据与人工智能协会 机器学习小组 测试试题纠错
文章目录前言激活函数：激活函数的作用：常用的激活函数：随机梯度下降：批梯度下降：总结前言经过一段时间的学习，初步了解了机器学习的一些东西，但是在这次测试中仍旧可以看出自己在这方面的了解还只是了解，以下是我在这次测试之后对测试题的纠错和相关的一系列知识。1.写出你所知道的激活函数，写出其表达式以及图像
基于大数据的股票数据可视化分析与预测系统
本项目基于 Python 利用网络爬虫技术从某财经网站采集上证指数、创业板指数等大盘指数数据，以及个股数据，同时抓取股票公司的简介、财务指标和机构预测等数据，并进行 KDJ、BOLL等技术指标的计算，构建股票数据分析系统，前端利用echarts进行可视化。基于深度学习算法实现股票价格预测，为投资提供
【NFT】ibox wtoken算法、锁单算法、脚本算法
前面的抓包分析和java层定位我这里就不分析了,添加依赖包org.apache.kafkakafka-clients2.6.0 <!-- https://mvnrepository.com/artifact/org.apache.curator/curator-client -->
基于 Win10 平台 搭建 Elasticsearch 集群
基于 Win10 平台搭建 Elasticsearch 集群1. 基本概念1.1 单机和集群1.2 节点2. 部署集群3. 启动集群4. 测试集群1. 基本概念1.1 单机和集群✨单台 Elasticsearch 服务器提供服务，往往都有最大的负载能力，超过这个阈值，服务器性能就会大大降低甚至不可用
Spark SQL中的DataFrame的创建
创建 SparkSession 对象可以通过SparkSession.builder().getOrCreate()方法获取,但使用 Spark-Shell编写程序时，Spark-Shell客户端会默认提供了一个名为sc的 SparkContext 对象和一个名为 spark 的 SparkSess
Zookeeper入门及使用
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是典型的分布式一致性解决方案。Zoookeeper是通过共享存储的方式来实现分布式协调的，就像是电脑上面的共享文件夹。可以实现发布订阅、负载均衡、命名服务、集群管理、分布式锁等功能。
【Python数据分析】之数据合并的concat函数与merge函数
文章目录系列文章一、concat函数1)横向堆叠与外连接横向堆叠合并df1和df2,采用==外连接==的方式2) 纵向堆叠与内链接二、merge()函数三、join函数1）根据行索引合并数据2）合并重叠数据系列文章Python之Series和DataFrame的数据排序Python数据分析之复习知识
第6篇: ElasticSearch写操作—原理及近实时性分析(完整版)
目前国内有大量的公司都在使用 Elasticsearch，包括阿里、京东、滴滴、今日头条、小米、vivo等诸多知名公司。除了搜索功能之外，Elasticsearch还结合Kibana、Logstash、Elastic Stack还被广泛运用在大数据近实时分析领域，包括日志分析、指标监控等多个领域.E
