最最普通程序员,如何利用工资攒够彩礼,成为人生赢家
本文不说那些大厂工作,一年16薪18薪的群体,也不说在独角兽的公司,随时可能上市走向人生巅峰的兄弟们,就说比较平凡的一些程序员们。
日志收集笔记(Filebeat 日志收集、Logstash 日志过滤)
Filebeat 是使用 Golang 实现的轻量型日志采集器,也是 Elasticsearch stack 里面的一员。本质上是一个 agent ,可以安装在各个节点上,根据配置读取对应位置的日志,并上报到相应的地方去。
程序人生15年人生感悟
唠唠叨叨了不少,只需记住一句话:科学锻炼,比什么都重要。
解析无处不在的少儿编程教育
自从“双减”政策落地后,各地教培机构纷纷遭到重创,在整个教培市场低迷的情况下,少儿编程突出重围成为家长的“新宠”,受到越来越多的家长的关注,而越来越多的家长也开始选择给孩子报名少儿编程相关课程。格物斯坦这部分家长看到了先机,国家推动含编程的信息技术课纳入中小学课程,这就证明国家在大力培养信息技术人才
程序员必知必会7种UML图(类图、序列图、组件图、部署图、用例图、状态图和活动图)画法盘点
众所周知,软件开发是一个分阶段进行的过程。不同的开发阶段需要使用不同的模型图来描述业务场景和设计思路,在不同的阶段输出不同的设计文档也是必不可少的,例如,在需求分析阶段需要输出领域模型和业务模型,在架构阶段需要输出物理架构设计,在详细设计阶段需要输出数据库设计等。这样做可以更好地实践软件开发,并提高
【大数据】Kafka 数据存储
Kafka 中的消息是存储在磁盘上的,一个分区副本对应一个 日志(Log)。为了防止 Log 过大,Kafka 又引入了 日志分段(LogSegment)的概念,将 Log 切分为多个 LogSegment ,相当于一个巨型文件被平均分配为多个相对较小的文件,这样也便于消息的维护和清理。事实上,Lo
大数据作业:相亲数据的可视化分析(个人)
但因为珍爱网的每一栏都是采用相同的标签和class,这样就不知道是在哪里结束。因为相亲男女的其他各栏属性都相同,但其中有一栏男士对应的是月薪,女士对应的是学历。个人大数据的期末大作业,用python按城市寻找爬取、分析和保存了珍爱网相亲的征婚信息,然后进行数据可视化分析。前端框架采用的是Start
Spark与HBase的集成与数据访问
通过集成Spark与HBase,可以充分利用这两个强大的工具来处理和分析大规模数据。本文深入介绍了如何集成Spark与HBase,并提供了示例代码,以帮助大家更好地理解这一过程。同时,也提供了性能优化的建议,以确保在集成过程中获得良好的性能表现。
RabbitMQ中交换机的应用 ,原理 ,案例的实现
RabbitMQ中的交换机(exchange)是消息的分发中心,它接收来自生产者的消息,并将这些消息路由到一个或多个队列中。交换机根据消息的路由键(routing key)将消息发送到相应的队列中。问题:为啥要使用RabbitMQ中交换机???消息路由:交换机用于将消息从生产者发送到消费者之间建立起
MacBook M1 Pro 安装 RabbitMQ 保姆级教程,亲测有效~
RabbitMQ 是一个开源的消息代理软件,实现了高级消息队列协议(AMQP)标准。它是一个强大的、灵活的、可靠的消息队列系统,被广泛用于构建分布式系统中的异步消息传递和事件驱动的架构。以下是RabbitMQ官网:总之,RabbitMQ 在分布式系统中广泛应用,特别是在微服务架构中,通过提供可靠的消
Hadoop基本概论
本文是关于Hadoop的一些基本概论定义。包含:大数据的概念、大数据的特点,Hadoop的定义/发展历史/版本/优势,Hadoop1.x/2.x/3.x组成、HDFS/Yarn/MapReduce架构、大数据技术生态体系等知识。
Mysql,Redis,Rabbitmq开启远程访问权限
在上面的步骤中,我们已经开启了 MySQL 的远程访问功能,但是,如果使用 MySQL 管理工具 navicat 连接 MySQL 服务端时,还是可能会出现连接失败的情况。在实际工作中,如果我们需要从其他地方访问和管理 MySQL 数据库,就需要开启 MySQL 的远程访问功能并设置相应的权限。这对
flink作业 windowAll 转换window
flink窗口 windowAll 转换window 遇到的坑,以及解决办法
Spark SQL五大关联策略
选择连接策略的核心原则是尽量避免shuffle和sort的操作,因为这些操作性能开销很大,比较吃资源且耗时,所以首选的连接策略是不需要shuffle和sort的hash连接策略。◦Broadcast Hash Join(BHJ):广播散列连接◦Shuffle Hash Join(SHJ):洗牌散列连
docker-compose部署kafka单机和集群
从 3.3 版本后,Kafka 引入了 KRaft 来替代 ZooKeeper,所以我们不必再部署 zk 了。选择集群切换 -> 新增集群,填好配置后,选择切换,就可以管理我们的 kafka 集群了。这里部署了 3 个 Broker,即 Kafka1、Kafka2 和 Kafka3。我们之后测试肯定
【RabbitMQ】延迟队列之死信交换机
延迟队列是一种特殊类型的消息队列,它允许将消息在一定的延迟时间后才被消费。在传统的消息队列中,消息一旦发送到队列中就会立即被消费者获取并处理。而延迟队列则提供了一种延迟消息处理的机制。
如何基于Flink实现定制化功能的开发
技术为需求服务,通用需求由开源软件提供功能,一些特殊的需求,需要基于场景定制化开发功能。而对于自定义开发功能,Flink则提供了这样的SDK接口能力。本文将从定制化功能需求分析和如何基于Flink构建定制化需求功能两个方面分享描述。
大数据Hadoop教程-学习笔记06【Hadoop生态综合案例:陌陌聊天数据分析】
大数据Hadoop教程-学习笔记06【Hadoop生态综合案例:陌陌聊天数据分析】
构建高效数据生态:数据库、数据仓库、数据湖、大数据平台与数据中台解析_光点科技
在数字化的浪潮中,一套高效的数据管理系统是企业竞争力的核心。从传统的数据库到现代的数据中台,每一种技术都在数据的旅程中扮演着关键角色。本文将深入探讨数据库、数据仓库、数据湖、大数据平台以及数据中台的功能和价值,帮助您构建一个符合自身业务需求的高效数据生态系统。
RabbitMQ系列之交换机的使用
在上一期的RabbitMQ系列的博客分享中我们对其MQ的概念及使用的场景有了一个初步的认识以及了解,并介绍了几种常见的实现的方式,有RabbitMQ、ActiveMQ、 Amazon Simple Queue Service (SQS)等等。本期博客基于上期博客的代码基础进行讲解RabbitMQ中的