分布式文件系统
要理解分布式文件系统首先了解什么是文件系统。查阅百度百科:文件系统是负责管理和存储文件的系统软件,操作系统通过文件系统提供的接口去存取文件,用户通过操作系统访问磁盘上的文件。下图指示了文件系统所处的位置:常见的文件系统:FAT16/FAT32、NTFS、HFS、UFS、APFS、XFS、Ext4等。
云计算导论(第二版)李伯虎著全部课后题的答案
李伯虎版云计算全部课后题
在Linux系统中安装Hadoop(简易版)
Hadoop安装(简易版),适合刚入门大数据的朋友,简单好上手,轻松安装Hadoop。
VMware 搭建 hadoop 完全分布式集群
VMware 虚拟机搭建 hadoop 完全分布式集群,集成 Spark、HBASE、Hive 等
三晶电气冲刺A股上市:计划募资12亿元,卢雪明与幸志刚为实控人
在本次上市前的股权架构中,海汇财富持股15.87%,李明智持股5.71%,晶英荟持股4.76%,三晶投资持股4.38%,董事、总经理欧阳家淦持股3.66%,石顺才持股2.86%,李云持股0.48%,王威持股0.45%。据招股书介绍,三晶电气的主营业务为光伏并网逆变器、储能逆变器及系统、电机驱动与控制
Doris-1.2.0安装部署详细流程
Doris是一个MPP的OLAP系统,以较低的成本提供在大数据集上的高性能分析和报表查询功能。MPP (Massively Parallel Processing),即大规模并行处理。简单来说,MPP是将任务并行的分散到多个服务器和节点上,在每个节点上计算完成后,将各自部分的结果汇总在一起得到终的结
【分布式系统】分布式事务(2PC 3PC TCC 最终一致性)
在分布式系统中,我们一般会根据业务对服务进行划分,这就会存在一些服务间的调用关系,所以普通的本地事务是满足不了我们的要求了,需要引入分布式事务来实现我们的一致性的要求。这里对事务进行一个简单的介绍:同学A给同学B转250块钱,系统首先从同学A的银行卡扣除250块钱,如果上述这个步骤成功了,但是系统往
来聊一聊 ElasticSearch 最新版的 Java 客户端
可能不少小伙伴都注意到了,从 ElasticSearch7.17 这个版本开始,原先的 Java 高级客户端Java High Level REST Client 废弃了,不支持了。老实说,ElasticSearch 算是我用过的所有 Java 工具中,更新最为激进的一个了,在 Es7 中废弃了 T
毕业设计 大数据房价数据分析及可视化 - python 房价分析
网络爬虫是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。爬虫对某一站点访问,如果可以访问就下载其中的网页内容,并且通过爬虫解析模块解析得到的网页链接,把这些链接作为之后的抓取目标,并且在整个过程中完全不依赖用户,自动运行。若不能访问则根据爬虫预先设定的策略进行下一个 URL的访问。在整个过
hive真实表空间大小统计
如果是采用hdfs上传加载的表、或者是flume直接写hdfs的表空间通常看hive的属性是不准确的。
Scala --- Array方法大全(一)
Scala --- Array方法大全
es 启动elasticsearch.bat发生闪退
在bin目录下输入elasticsearch.bat启动,发生报错,查看Caused by 的后面的错误信息,发现是elasticsearch.yml配置文件的编码格式错误。打开我的elasticsearch.yml配置文件 发现我的注释是中文,所有要使用utf-8的编码格式。最后说一句,方法有很多
Ansible 自动化运维
自动化运维参考
Pytorch固定随机种子&&复现模型
PyTorch固定随机数种子结果可复现
TEZ介绍及使用
TEZ介绍及使用
一文搞懂什么是“退化维度”
当一个维度没有数据仓库需要的任何数据的时候就可以退化此维度,需要把退化的相关数据迁移到事实表中,然后删除退化的维度。退化维度没有对应的维表,但可以获取与之相关的事实,如上订单号对应的订购者,服务对应的订购金额等。Kimball书中对退化维度的描述为:操作型事务控制号码,例如:订单号码,发票号码,提货
Python提取Word文档中所有超链接地址和文本
使用Python扩展库python-docx操作Word文档的相关文章,可以阅读:Python批量导入图片到Word文件Python查找Word文件中红色和加粗的文字(附元宵节送书活动中奖...
【Hive进阶】-- Hive SQL、Spark SQL和 Hive on Spark SQL
Hive由Facebook开发,用于解决海量结构化日志的数据统计,于2008年贡献给 Apache 基金会。Hive是基于Hadoop的数据仓库工具,可以将结构化数据映射为一张表,提供类似SQL语句查询功能本质:将Hive SQL转化成MapReduce程序。Spark SQL主要用于结构型数据处理
kibana 启动问题
kibana 启动后 server is not ready yet