Spark追妻系列(Spark初了解)
感觉每天又有了希望，又有动力，感觉学习尽头十足Spark是什么Spark是一个用来实现快速而通用的集群计算的平台。在之前，学习了MR，学习了hadoop，用mapreduce来对数据进行处理，但是hadoop是用批处理的，而且还有延迟，况且，出来了Hive，Hive将sql转化为mr算子。可以不用去
女生学大数据好还是计算机好？都适合女生吗？就业前景好吗？
女生学大数据好还是计算机好？都适合女生吗？就业前景好吗？提起理工类专业，特别是工科专业，很多女生都会望而却步，而社会对于女生学工科专业的认可度也比较低。但随着女性职业优势的逐渐展现，这种传统的观念已经逐渐被摒弃，女生同样能选择工科专业。不过，相比较而言，大部分女生在逻辑思维和理科思维方面确实会弱于男
有了Docker为何需要k8s
文章目录为什么需要k8s容器编排的重要性调度和编排的区别K8s核心概念面向API对象编程核心功能全景图之前的文章，我们聊了Docker，提到一个“容器”，实际上是一个由 Linux Namespace、Linux Cgroups 和 rootfs 三种技术构建出来的进程的隔离环境。似乎有了Docke
Springboot整合MQ以及常见工作模式的使用
1.首先我们先看看MQ的常见模型1.1 基本消息模型1.2Work Queues消息模型work queues与入门程序相比，多了一个消费端，两个消费端共同消费同一个队列中的消息,而MQ会采用轮询的方式，分配消息, S所以也就保证了一条消息只会被一个消费者接收1.3 广播模型广播模型的就是他发的消息
Linux CentOS7下多机器集群安装Elasticsearch记录
部署机器主机名(hostname) IP 版本 master 192.168.0.112 CentOS Linux release 7.9.2009 (Core) node 192.168.0.113 CentOS Linux release 7.9.2009 (Core
【ELK系列四】肝了两晚，你想要的elasticsearch内容放在这了
文章目录ES的核心概念及使用一、概述二、Elasticsearch核心概念索引 index类型 type映射 mapping文档 document字段Field接近实时 NRT集群 cluster节点 node分片和复制 shards&replicas三、Elasticsearch操作1、使
11张图深入理解分布式锁原理
单体系统中，在高并发场景下想要访问共享资源的时候，我们需要通过加锁的方式来保证共享资源并发的安全性，确保在同一时刻只有一个线程对共享资源进行操作。
MacBook安装Storm与启动
MacBook安装Storm与启动官方下载地址: https://storm.apache.org/downloads.html官方下载 apache-storm-1.2.2.tar.gzMacBook Linux安装zookeeper解压tar -zxvf apache-storm-1.2.2.t
一天学完spark的Scala基础语法教程七、数组(idea版本)
????前言????????博客主页：红目香薰_CSDN博客-大数据,计算机理论,MySQL领域博主????✍本文由在下【红目香薰】原创，首发于CSDN✍????2022年最大愿望：【服务百万技术人次】????????初始环境地址：【spark环境搭建(idea版本)_红目香薰-CSDN博客】???
六十五、Spark-综合案例(搜狗搜索日志分析)
业务逻辑：针对SougoQ用户查询日志数据中不同字段，使用SparkContext读取日志数据，封装到RDD数据集中，调用Transformation函数和Action函数进行处理不同业务统计分析...
六十四、Spark-分别统计各个单词个数及特殊字符总个数
广播变量（Broadcast Variables）：广播变量用来把变量在所有节点的内存之间进行共享，在每个机器上缓存一个只读的变量，而不是为机器上的每个任务都生成一个副本，简单理解：减少内存，减小计算压力;
Mysql千万级别数据如何 做分页？
后端开发中为了防止⼀次性加载太多数据导致内存、磁盘IO都开销过⼤，经常需要分⻚展示，这个时候就需要⽤到MySQL的LIMIT关键字。但你以为LIMIT分⻚就万事大吉了么，LIMIT在数据量⼤的时候极可能造成深度分页问题。例如，上图，我们在查user表时，mysql会先根据条件去磁盘检索得到符合条件的
数分-理论-大数据7-Spark
数分-理论-大数据7-Spark（大数据框架）(数据分析系列)文章目录数分-理论-大数据7-Spark（大数据框架）1知识点2具体内容2.1概述2.1.1起源2.1.2诞生2.1.3Spark与Hadoop、MapReduce、HDFS的关系2.1.4生态体系2.2编程模型-核心2.2.1RDD概述
Hive hql 经典5道面试题
最近在深入了解Hive，尚硅谷的这5道题很经典，有引导意义，分步解题也很有用，故记录之，方便回看1.连续问题如下数据为蚂蚁森林中用户领取的减少碳排放量找出连续 3 天及以上减少碳排放量在 100 以上的用户id dt lowcarbon1001 2021-12-12 1231002 2021-12-
22届计算机考研复试技巧以及注意事项高频问答35问Python集锦【一定要记牢】
这几天22年考研初试成绩即将公布，我们的考生下一步即将面临的就是复试，我 们知道复试中面试一项是起着最最至关重要的作用。那么，在复试面试时大家应该注意哪些 事项呢？总结多年来学员的经验，提供以下高频出现的问题。
六十三、Spark-读取数据并写入数据库
需求说明：使用Spark流式计算 将数据写入MySQL，并读取数据库信息进行打印
北汇信息正式加入IAMTS联盟，助力智能网联汽车事业发展
2022年1月，北汇信息正式加入国际智能网联汽车合作联盟（IAMTS）。此前，北汇信息曾多次与IAMTS的负责人员沟通，阐述了北汇信息的企业理念，业务领域以及专业经验，最终获得联盟的认可，成功“入盟”。作为国内领先的测试方案服务商，北汇信息将为IAMTS贡献中国实践的解决方案，助力全球智能网联汽车的
SpringBoot整合RocketMQ，顺序消息
目录引言问题分析RocketMq顺序消息生产者消费者消费结果小结引言总有那么一种业务需求是要有先后顺序来执行问题分析例：在A系统下了一个订单，需要推到B系统去生成订单和发货单，并且是要先生成订单再生成发货单，如果按正常情况去先发造成订单的消息到MQ，再发生成发货单的消息到MQ会出现的几种问题；推送订
02环境搭建
02环境搭建
Zookeeper里Leader选举算法
Zookeeper里Leader选举算法
