python处理csv文件
csv⽂件其实就是⽂本⽂件，遵循了⼀定的格式，常⻅的csv⽂件⼀般是⽤逗号来隔开列，⽤换⾏符隔开不同的⾏，注意这⾥的符号都是英⽂符号。我们可以直接⽤open函数来打开csv⽂件；本实验使用csv文件(example.csv)分享：https://osswangting.oss-cn
浅谈任务分发中的机制与并发
导言任务模型的抽象具有广泛通用性的，例如饿了么骑手每笔骑单是任务，小法庭中交易纠纷的评审也可以被抽象为任务。下面是简易的任务系统模块图，图示中去除了上下游的模块，保留了核心与小法庭业务特色部分。在任务分发中核心会遇到以下的挑战和难点：•分配制下任务消费堆积问题以及解法•申领制下任务异常消费问题以及解
PySpark数据分析基础:核心数据集RDD原理以及操作一文详解(一)
要进行大数据分析是离不开Spark的，不然怎么说是大数据呢，数据量不达到几个TB也好意思叫大数据（哈...），之前一直使用的Pandas做一些少量数据的分析处理的，发现最近要玩的数据量实在过于巨大了，不得不搬上我们的spark用集群去跑了。但是用Scala总感觉很别扭，主要是已经好久没写scala代
分布式理论协议与算法 第三弹 BASE理论
大部分人解释这 CAP 定律时，常常简单的表述为：“一致性、可用性、分区容错性三者你只能同时达到其中两个，不可能同时达到”。实际上这是一个非常具有误导性质的说法，而且在 CAP 理论诞生 12 年之后，CAP 之父也在 2012 年重写了之前的论文。当发生网络分区的时候，如果我们要继续服务，那么强一
数据库系统概论②——关系数据库基础
关系模型是数据库系统中最重要的一种模型。它由数据结构关系操作和完整性约束三部分组成。最早提出关系模型的是美国IBM公司的E.F.Codd (埃德加·科德)博士。1970年提出关系数据模型之后，提出了关系代数和关系演算的概念1972年提出了关系的第一、第二、第三范式1974年提出了关系的BC范式（1）
hadoop考试应急
为了应对hadoop考试的同学可以看看
PySpark数据分析基础:核心数据集RDD常用函数操作一文详解(三)
RDD作为分布式计算弹性数据集在PySpark占有十分重要的地位，因此学会如何操作RDD的pyspark的接口函数显得十分重要，PySpark系列的专栏文章目前的话应该只会比Pandas更多不会更少，可以用PySpark实现的功能太多了，基本上Spark能实现的PySpark都能实现，而且能够实现兼
如何使用Python连接数据库
数据分析离不开数据库，如何使用python连接数据库呢？听我娓娓道来哈
字节面试官: 让你设计一个MQ每秒要抗几十万并发，怎么做？
Kafka是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。
JDK17的下载安装与配置(详细教程)
10.如想更换JDK的版本，则只需重复到官网下载其他版本的JDK，重复JDK17的步骤。开始测试JDK17是否安装成功，打开命令窗口“Win+R”输入“cmd”，在，命令窗口中输入“java”点击Enter回车，输入“java -version”，点击回车进行查看。这里可以配置多个JDK的版本以便以
【Java项目推荐】值得写到简历上的项目--黑马点评
项目是b站黑马程序员的redis教程中的案例，建议所有java程序员做一下！这篇博客会从最简单的实现优惠卷秒杀到加分布式锁、对秒杀优化、使用消息队列异步下单做详细介绍！
2023版大数据学习路线图（适合自学）
为数据存储与计算（离线场景），主要讲解协调服务ZK(1T)、数据存储hdfs(2T)、数据存储alluxio(1T)、数据采集flume、数据采集logstash、数据同步Sqoop(0.5T)、数据同步datax(0.5T)、数据同步mysql-binlog(1T)、计算模型MR与DAG(1T)、
好的质量+数量 = 健康的创作者生态
好的质量 + 数量 = 健康地创作者生态。 我们参考顶级计算机领域的会议、顶级金融期刊的做法，在提高质量的同时鼓励百花齐放，把 CSDN 做成顶级的内容平台。
【Linux】生产者消费者模型
🍁 🍃 🍂 🌿。
阿里云-ODPS SQL-日常开发日期、字符、数学运算、聚合函数函数使用技巧
数据仓库，是一个面向主题的、集成的、随时间变化的、信息本身相对稳定的数据集合。数据仓库从Oracle（单机、RAC)，到MPP(Green plum)，到Hadoop(Hive、Tez、Sprak)，再到批流一体Flink/Blink、数据湖等，SQL都是其主流的数据处理工具。海量数据下的高效数据流
MongoDB数据库性能监控详解
MongoDB数据库实战系列，打造精品专栏。
web3:区块链常见的几大共识机制及优缺点
web3:区块链常见的几大共识机制及优缺点
我在CSDN的2022：突破零粉丝，4个月涨粉4000+，2023年目标5万+
今年最自豪的事，我用业余时间，在CSDN上坚持创作了4个月，产出了20多篇博客，其中7篇文章上了全站热榜，多次入围作者周榜原力榜铁粉榜领军人物榜前100，还被评选为每日精选每月精选，并参加了1024活动、圣诞活动、博客之星等活动，实现4000+的粉丝数增长，如果你正在寻找如何突破零粉丝困境如何实现快
大数据面试题（八）：Hive优化措施
Fetch抓取Fetch抓取是指Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。在hive-default.xml.templat
RabbitMQ消息发送和接收（实例）
的消息只能被同一个消费者消费，如果没有消费监听队列那么消息会存放到队列中持久化保存，直到有消费者来消费这个消息，如果有消费者监听队列则立即消费发送到队列中的消息。4.模拟连续向队列中放两次消息，这两条消息的队列名称相同，内容不同。再次返回消息队列，此时消息队列已经没有了消息，消息已经模拟出队了。7.
