初步认识Hadoop
学习目的· 了解大数据的概念及其特征· 了解Hadoop发展· 掌握Hadoop的生态体系Hadoop作为一个能够对大量数据进行分布式处理的软件框架，用户可以利用Hadoop生态体系开发和处理海量数据。由于Hadoop可靠及高效的处理性能，逐渐称为分析大数据的领先平台。1.1 什么是大数据 从
各大互联网公司实时数仓实践
各大公司实时数仓实践1.1 网易实时数仓实践此架构是基于Kudu的实时数据数仓，通过Data Stream自己写的数据采集工具来采集日志数据写入Kafka，使用NDC(类似CDC)服务可以将binlog数据推送到Kafka，通过Flink读取Kafka数据结果写入Kudu,基于Kudu构建实时数仓好
【操作系统入门到成神系列 二】磁盘比内存慢几万倍？
大家好，我是爱敲代码的小黄，独角兽企业的Java开发工程师，Java领域新星创作者。这是我的系列专栏：操作系统 从入门到成神。如果文章知识点有错误的地方，请指正！和大家一起学习，一起进步。如果感觉博主的文章还不错的话，请三连支持一下博主哦。
springboot集成mqtt
文章目录一、MQTT说明1.1、mqtt文档1.2、MQTT消息服务质量1.1.1、归纳二、MQTT环境搭建三、boot集成原生mqtt1.1、项目结构1.2、依赖1.3、application.properties配置1.4、实体类1.5、mqtt配置类1.6、mqtt发布接口1.7、mqtt接收
通俗理解大数据及其应用价值
在大数据这个概念兴起之前，信息系统存储数据的方法主要是我们熟知的关系型数据库，关系型数据库，关系型模型之父 Edgar F. Codd，在 1970 年 Communications of ACM 上发表了《大型共享数据库数据的关系模型》的经典论文，从此之后关系模型的语义设计达到了 40 年来普世、
sbt安装配置与打包
一：安装配置1.下载安装包官网下载地址：sbt - Download将下载好的sbt-1.6.1.tgz解压到相应目录：/home/kyj/soft，这里我们使用版本为1.6.1，注意版本的选择2.解压安装包并放在/home/kyj/soft中：tar -zxvf sbt-1.6.1.tgz sbt
Hadoop完全分布式配置
1.虚拟机环境准备1.1 克隆虚拟机1.2. 修改克隆虚拟机的静态IP机器名静态IPmaster192.168.121.151slaver1192.168.121.152slaver2192.168.121.153[root@master Desktop]# vi /etc/sysconfig/ne
Dapr for dotnet | 密钥管理 - Secret Management
密钥管理（Secret Management）简介应用程序通常会通过使用专用的密钥存储来秘密存储敏感信息，常见示例包括：包含用户名和密码的数据库连接字符串。用于调用外部 Web API 的 API 密钥。用于对外部系统进行身份验证的客户端证书/令牌。必须谨慎管理机密，以免在应用程序之外泄露。传统的做
Canal使用流程、部署安装文档
文章目录背景信息使用流程步骤一：准备MySQL数据源步骤二：创建索引步骤三：安装并启动Canal-server(Deployer)步骤四：部署Client-Adapter步骤五：验证增量数据同步步骤六：同步MySQL全量数据（如果不需要同步全量数据，可忽略这一步）常见问题及解决方式1. 部署后启动出
第九届“大唐杯”全国大学生移动通信5G技术大赛省赛成功举办
第九届大唐杯全国大学生移动通信5G技术大赛省赛如期圆满落幕
十九.SpringCloud极简入门-基于Docker整合ELK分布式日志解决方案
在微服务架构中服务众多，每个微服务都会产生大量的日志数据，服务的调用错综复杂，如何才能快速定位到BUG？所以日志收集是微服务项目不可或缺的。为了方便日志分析，我们需要对微服务的日志数据进行存储,同时提供一个友好的可视化界面方便分析。存储到文件和数据库都不太合适因为数据量太大，也不好查阅。ELK是一个
大数据入门-什么是Kudu
Kudu是Cloudera开源的新型列式存储系统，是Apache Hadoop生态圈的成员之一，专门为了对快速变化的数据进行快速的分析，填补了以往Hadoop存储层的空缺。
Docker基础 部署nginx、部署Tomcat、部署ES+Kibana
Docker 部署 Nginx搜索Nginx镜像：搜索镜像建议前往官网docker hub去搜，这样可以看到帮助文档信息Docker Hubhttps://hub.docker.com/#找到想要拉取的版本，这里列出前三个[root@localhost ~]# docker search nginx
数据科学必备Pandas DataFrame：让数据处理变得更简单
Pandas DataFrame 是一个包含二维数据及其对应标签的结构。DataFrame 广泛用于数据科学、机器学习、科学计算和许多其他数据密集型领域。DataFrame 类似于SQL 表或在 Excel 中使用的电子表格。在许多情况下DataFrame 比表格或电子表格更快、更易于使用且功能更强
基于pyecharts的Kline以及pandas对美国标准普尔500指数历史数据(SP500)进行数据可视化分析
基于pyecharts的Kline以及pandas对美国标准普尔500指数历史数据(SP500)进行数据可视化分析k线图简述对股票数据的描述，我们最常用的还是k线图，k线图包含四个数据，即开盘价、最高价、最低价、收盘价。所有的k线都是围绕这四个数据展开，反映大势的状况和价格信息。如果把每日的K线图放
Spark集群搭建记录 | 云计算[CentOS7] | Scala Maven项目访问Spark实现单词计数
本文目录写在前面step1 下载Scala IDEstep2step3 Scala 下载step4 Scala 配置step5 创建scala项目step6 创建scala objectstep7 修改pom文件配置项目设置输入路径写在前面本系列文章索引以及一些默认好的条件在 传送门要想完成Spar
MIT6.824-lab1-2022篇(万字推导思路及代码构建）
MIT6.824-lab1-2022篇(万字推导思路及代码构建）
朋友们，想去一线大厂？卷起来...
大家好，我是Tom哥计算机研究生，校招进阿里，P7技术专家，出过专利，CSDN博客专家。负责过电商交易、社区团购、流量营销、金融等业务，多年一线团队管理经验。多年的大厂浸染，参加多次淘宝双11大促活动，在系统架构方面有丰富经验。为了帮助大家更好的冲击一线互联网大厂，以及日常的架构研发工作能得心应手。
Spark流处理日志+SSM前端展示（详细）
Spark流处理日志加SSM前端展示
【面经】数据开发一面-美团暑期实习
美团数据开发工程师暑期实习生招聘一面面经。同学们一定不要等准备好了再去面试。先投递简历进行面试，将面试中每次被问到的问题都记录下来并针对性学习，可以发现自己成长非常快。下面给出面试中遇到的问题。自我介绍介绍自己研究生阶段的研究方向，做过的项目，毕业时间，本科生阶段的情况，为什么想要投递这个岗位。
