2022“华为杯”（E、F题）思路分析、代码......
进入2022年以来全国范围内陆续出现了多次较大规模疫情爆发事件[1-2]。在大规模疫情爆发期间由于我国采用封闭式管理方式来实现疫情的快速清零，从而疫情期间各类人群的科学管理变得尤为重要[3-4]。由于大部分地区管理者尚未遇见如此大规模爆发的疫情及不同地区疫情爆发时长、人口规模与地理位置等的差异性，众
数据分析师还火热吗？爬取了72个城市需求，北京第一
金九银十求职季已经过半，最近咨询经验的同学也越来越多了，有很多求职、或是转行的同学向我咨询我数据分析师岗位的种种信息。虽然老李我在数据领域待了这么多年，对这个岗位的的各种信息了然于心，但个人经验还是没有实际数据更有信服力。因此，为了帮助大家对数据分析岗位有一个全面深入的判断，本文爬取Boss直聘网站
大数据之Hadoop3简单入门（一）（通俗易懂）
2.1.1 概念hadoop是一个分布式系统基础架构，主要解决数据存储与海量分析计算的问题，广泛来说，hadoop通常指的是Hadoop生态圈。2.1.2 hadoop优势主要分为4个方面。高可靠性：hadoop底层维护多个数据副本，即使当hadoop某个计算元素或存储出现故障，也不会导致数据丢失。
数据湖及湖仓一体化项目学习框架
利用框架的力量，看懂游戏规则，才是入行的前提大多数人不懂，不会，不做，才是你的机会，你得行动，不能畏首畏尾选择才是拉差距关键，风向，比你流的汗水重要一万倍，逆风划船要累死人的上面这些看似没用，但又很重要，这里我就不在详述作用，有兴趣的同学可以看看我的学习框架的重要性我是怎么坚持学习的怎么确定学习目标
大数据工程师、数据挖掘师和数据分析师有啥区别
随着互联网技术的不断提升，数据已经成为各大企业新的战场，而对于从业者来说，如果你对数据科学领域的工作感兴趣的话，肯定首先要了解一下数据科学领域都有哪些岗位。从岗位性质和主要工作内容不同我们可以把数据科学的岗位大概分为四类：数据产品经理、大数据工程师、数据挖掘师、数据分析师。数据产品经理显而易见就是精
RabbitMQ：Topics主题/通配符模式
Topic类型与Direct相比，都是可以根据RoutingKey把消息路由到不同的队列。只不过Topic类型Exchange可以让队列在绑定Routing key 的时候使用通配符Routingkey 一般都是有一个或多个单词组成，多个单词之间以”.”分割，例如： item.insert通配符规则
【2022】Elasticsearch-7.17.6集群部署
使用三台服务器搭建es-7.16.6高可用集群
Prometheus+Grafana （史上最全）
可观测性包括 Metrics、Traces、Logs 3 个维度。可观测能力帮助我们在复杂的分布式系统中快速排查、定位问题，是分布式系统中必不可少的运维工具。• Metrics，监控指标系统性能指标，包括请求成功率、系统吞吐量、响应时长资源性能指标，衡量系统软硬件资源使用情况，配合系统性能指标，观察
【Hadoop技术篇】YARN 作业执行流程
yarn的作业执行流程
基于antlr-3.5.2+Python实现一般HiveSQL血缘解析(一)
作为一个开发实践项目，实现对HiveSQL语句的解析可以很有效的作为管理用户查询权限的管理。对于这方面的知识本身也不是非常熟悉了解，很多时候也是边学边记。身边也没有人指导这个方案具体该怎么实现怎么做，只有需求是要将复杂查询或者是关联建表的SQL语句能够将其库名和表名全都给提取出来并且能够实现上下游的
字节后台三面高难度面经
原定约了一个大概一周左右之后的日期，但是自我感觉准备的非常不充分，简历上写的中间件，缓存，数据库等模块，但对于它们底层的原理都了解的非常不深入。三面的面试官问项目比较仔细，建议大家一定要对于项目中的各个模块以及组件选择原因有深刻的思考，不然很容易翻车的。比如我用到了Redis集群，面试官一直在质疑我
百战c++（数据库2）
写满了：redo log 里的容量是有限的，如果数据库一直很忙，更新又很频繁，这个时候 redo log 很快就会被写满了，这个时候就没办法等到空闲的时候再把数据同步到磁盘的，只能暂停其他操作，全身心来把数据同步到磁盘中去的，而这个时候，就会导致我们平时正常的SQL语句突然执行的很慢，所以说，数据库
深入了解分布式锁 导学篇（一）
该文章刚开始以超卖问题为主线 先介绍单机本地储存情况下通过JVM本地锁去解决超卖问题，接着深入企业场景 数据在mysql 的情况下如何解决高并发对mysql数据库中进行有序操作防止出现脏读的问题，接着引入 非关系型数据情况下 如何处理集群 服务和线程之间 操作有序性的问题 通过redis 乐观锁和
解决虚拟机配置没有namedone目录的问题
解决虚拟机配置没有namedone目录的问题，分享两种我用来解决这个问题的方法！
《SpringBoot篇》16.SpringBoot整合Elasticsearch超详细教程
注：公司中大部分也是对于管理日志信息使用es，我们也是，这里做简单的教学，之后会有更加完整的ES学习介绍。说明：ES（Elasticsearch）Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elastics
大数据Presto（二）：Presto安装搭建
注意：--server执行连接Presto的coordinator节点，--catalog指定连接hive，这里写的名字和“/software/presto-0.259/etc/catalog”路径中配置的properties名称保持一致。分别在node3,node4,node5节点上启动Prest
RabbitMQ:发布订阅模式
P:生产者，发送消息给交换机C:消费者，接收消息X:交换机，一方面接收生产者发送的消息，另一方面知道怎么处理消息，是否应将其附加到特定队列？是否应将其附加到多个队列中？或者它应该被丢弃。其规则由交换类型定义。Queue:消息队列，接收消息，缓存消息每个消费者都监听自己的队列生产者把消息发送给brok
hadoop伪分布式集群搭建（超详细）
hadoop伪分布式集群搭建适合初学
SpringCloud——网关1
SpringCloud网关
