大数据高级开发工程师——大数据相关工具之一 Sqoop
文章目录数据导入导出工具Sqoop ETL工具Sqoop简介Sqoop1与Sqoop2架构对比Sqoop安装部署Sqoop的数据导入1. 列出所有数据库2. 准备表数据3. 导入数据库表数据到HDFS4. 导入到HDFS指定目录5. 导入到hdfs指定目录并指定字段之间的分隔符6. 导入关系表到HI
一场事故告诉你zookeeper和nacos谁更适合做注册中心
前言在分布式系统中，注册中心充当着重要角色，是服务发现、客户端负载均衡中不可缺少的一员。注册中心除了能够实现基本的功能外，他的稳定性、可用性和健壮性对整个分布式系统的流畅运行影响重大。dubbo作为国内一款主流的分布式系统，支持的注册中心有zookeeper、nacos和redis等第三方中间件，同
字节终面：说说Kakfa副本状态机的实现原理？
关注文末公众号，有惊喜福利！读这源码有何用？ReplicaStateMachine是内部组件，一般用户感觉不到存在，但搞懂它，对从根本定位一些数据不一致问题大有裨益。部署3-Broker（A、B和C）Kafka集群，版本2.0.0。在这3个Broker上创建一个单分区、双副本主题。若两个副本分别位于
python 7行代码实现MySQL表转换成Excel
python 7行代码实现MySQL表转换成Excel
hadoop 实现序列化
hadoop 实现序列化
五十八、Ubuntu搭建hadoopHA高可用（从零开始）
环境准备编号 主机名 类型 用户 IP 1 master 主节点 root 192.168.231.247 2 slave1 从节点 root 192.168.231.248 3 slave2 从节点 root 192.168.2
PySpark 速查表
在本文中，我将介绍datacamp的这份Pyspark的速查表
MongoDB中在100万级大数据量插入的代码分享和测试分析
在100万级大数据量插入，MongoDB中速度还相当快的。下面分享Java操作代码和测试结果Java代码： @Test void saveBatch() { long start=System.currentTimeMillis(); int oneNum=3
客快物流大数据项目(十一)：Docker应用部署
目录Docker应用部署一、MySQL部署二、Nginx部署三、Redis部署Docker应用部署总体步骤：搜索镜像 拉取镜像 查看镜像 启动容器 停止容器 移除容器一、MySQL部署Docker hub上查找mysql镜像docker sea
doris 15 详细docker 编译 以及drois-flink的编译
1. 编译对应的版本https://doris.apache.org/master/zh-CN/installing/compilation.html这里选择 docker15 编译2.docker 拉去镜像[root@basenode ~]# docker pull apache/incubat
阿里四面：kafka何时、如何删除Topic？
Topic是怎么被删除的？Kafka有很多状态机和管理器，如Controller通道管理器ControllerChannelManager、处理Controller事件的ControllerEventManager等。这些管理器和状态机，大多与各自“宿主”联系密切。就如Controller这俩管理器
RabbitMQ速通入门
RabbitMQ快速上手
Kafka消费者
文章目录Kafka消费者1、消费方式2、基础消费者3、消费者组案例4、分区分配策略5、offset的维护消费offset案例6、自动提交offset7、重置offset8、手动提交offset同步提交异步提交9、Consumer事务Kafka消费者1、消费方式pull（拉）模式从broker中读取数
【ZooKeeper】一文简单了解 ZAB 协议
本文将会围绕《ZooKeeper’s atomic broadcast protocol: Theory and practice》这篇论文讲解 ZooKeeper 和 ZAB 的精髓之处。大家好，我是周周，前几周开组会时被点名回答一些 ZooKeeper 相关问题，竟然一问三不知，组长直呼当初被我
2021大数据1班《Python程序设计基础》学生学期总结
文章目录1、雷云腾2、曾文浩时光飞逝，一学期又接近尾声。本期给2021级大数据1班上Python程序设计基础，也是本人第二次上这门基础课，在上一次讲课笔记的基础上做了修订和增补。考虑到是给大数据专业的学生上课，也对大数据采集、数据分析和可视化略有涉及，希望能激发学生的一点兴趣。主要是增加了字典、文件
C#实现模拟CSDN博客之星抽奖小程序，炫酷霹雳闪
本人制作了一个抽奖小程序，预祝各位新年快乐，在2022年美梦成真！
这一年我做了哪些事【2021年卷王の年终总结】
这一年我做了哪些事【2021年卷王の年终总结】前言获得了什么罗列几个数据卷王是怎样炼成的？从寒假开始卷5月份参加“新星计划”大三下学期接40+课设疑问:为什么这么卷?失去了什么：谈谈明年的计划：最后:成功的赛道并不拥挤，很多人的努力甚至谈不上拼天赋
数据库-ElasticSearch学习笔记
简介Elasticsearch，简称ES，是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口，隐藏Lucene的复杂性。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引
这可能是最详细的分布式锁设计方案了
关于分布式锁的设计方案，你想要的这里都有！
2022届安防展观展体会
非常感谢公司提供的机会，让我能够有这样的机会参观这场技术和产品的饕餮盛宴。半天多的时间，能够非常近距离接触友商，客户，以及处于产业链不同环节的公司和它们的产品，让我获益良多。这里对我个人的观展记录进行总结和分享。我观展的主题围绕AI在产品中的应用落地进行，下面分别从AI的应用场景，芯片算法，软件技术
