Hadoop基本操作
Hadoop基本操作方法
hadoop无法访问9870端口
首先查看一下防火墙是否关闭。今天连接Hadoop端口的时候,发现9870端口无法连上。查看了下进程,都已经成功启动。根据自己的host映射。
Hadoop之MapReduce概述
Hadoop之mapreduce概述,描述相关工作机制和原理
大数据Doris(五十二):Doris数据导出案例和注意事项
与导出到HDFS不同的是导入到本地的目录需要预先创建出来,然后执行导出数据命令即可,这里说的本地是指BE节点,指定对应导出命令时不一定是在哪个BE节点进行导出,所以这里我们在所有BE节点创建导出路径。这里同样对Doris表"export_tbl"进行导出,这里将表中数据导出到BE节点的"/home/
链路聚合介绍及其配置命令
SW1-GigabitEthernet0/0/22]lacp priority 50000 //设置接口 LACP 优先级,默认 32768,值越小,优先级越高[SW1-GigabitEthernet0/0/22]quit。[SW1-Eth-Trunk1]trunkport GigabitEther
【kafka】服务器命令行查询kafka信息消费情况
kafka-tool出问题的情况下,可以用命令行来查看kafka信息
指标与标签的区别?
在公司数据建设过程中,经常会使用和提到指标和标签,但是很多小伙伴对于两者的区别确不能讲清楚。实际上标签与指标一样,是理解数据的两种方式,在赋能业务上,两者同样重要。接下来将结合自身的理解,从定义、应用场景、分类等多个方面进行总结。
解决:pycharm绘制词云-中文会被显示成方框乱码
wordcloud默认是不支持显示中文字符的,中文会被显示成方框。可以尝试更改WordCloud的字体参数,以便正常显示中文字符。同上,wordcloud默认是不支持显示中文字符的,中文会被显示成方框。但是标题需要另外设置。修改后词云正常显示,但标题为方框乱码。
【RabbitMQ教程】第七章 —— RabbitMQ - 发布确认高级
🐬初学一门技术时,总有些许的疑惑,别怕,它们是我们学习路上的点点繁星,帮助我们不断成长。🐟文章粗浅,希望对大家有帮助!💧下一篇 -->《RabbitMQ》
Hbase,Hive和Hdfs的关系以及区别
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。hive可以用来进行统计查询,HBase可以用来进行实时查询,数据也可以从Hive写到Hbase,设置再从Hbase写回Hive。
Hbase
Hbase 的扩展性主要体现在两个方面,一个是基于运算能力(RegionServer) 的扩展,通过增加 RegionSever 节点的数量,提升 Hbase 上层的处理能力;HBase擅长于存储结构简单的海量数据但索引能力有限,而Oracle,mysql等传统关系型数据库(RDBMS)能够提供丰富
nacos的启动关闭命令
1.Nocas启动服务切换到bin目录,执行命令:[root@bogon bin]# sh startup.sh -m standalone后台运行[root@bogon bin]# nohup sh startup.sh -m standalone &2.Nacos关闭服务[root@bo
密码学新进展:基于同态加密的数据保护是否会成为未来的趋势?
同态加密技术可以对数据进行加密保护,同时又能够在不暴露数据内容的前提下对其进行计算和处理,这为保护数据隐私和安全提供了新的思路和解决方案。此外,同态加密技术还可以实现数据共享,如在医疗保健领域中,医疗机构可以通过同态加密技术实现医疗数据的共享和分析,同时又不会泄露患者的隐私信息。例如,在医疗保健领域
Linux开启ssh服务
打开"终端窗口",输入"sudo vi /etc/ssh/sshd_config"–>回车–>把配置文件中的"PermitRootLogin without-password"加一个"#“号,把它注释掉–>再增加一句"PermitRootLogin yes”–>保存,修改成功。打开"终端窗口",输入
前端使用node.js连接sql.server数据库教程
最近项目中要用到node写接口然后连接公司现有的sql.server数据库,再把执行结果返回给前端(还是我),因为之前一直做前端这块,后端这方面不是很懂,花了很长的时间终于研究出来了(还是太菜了,走了很多弯路),所以写个博客,一是复习巩固,二是给其他有需要的小伙伴一个参考,尽量少走弯路,废话不多说,
Hadoop DataNode不能启动,不能全部启动
可以查看一下{hadoop文件路径}/etc/hadoop/slaves这个文件,这个文件是集群里所有DataNode的主机名,如果缺少某一个主机名,不能全部启动,将全部要启动datanode的主机名加入即可。目前有三台主机,配置如下:在hadoop102主机上执行启动脚本(自定义脚本或者start
rabbitmq 默认用户和密码
Note:The default administrator username and password areguestandguest.
windows安装rabbitmq和环境erlang(最详细版,包括对应关系,安装错误解决方法)
【代码】windows安装rabbitmq和环境erlang(最详细版,包括对应关系)
大数据Doris(三十二):HDFS Load和Spark Load的基本原理
因为 Doris 表里的数据是有序的,所以 Broker load 在导入数据的时是要利用doris 集群资源对数据进行排序,对 Doris 的集群资源占用要比较大。Spark load 是利用了 spark 集群的资源对要导入的数据的进行了排序,Doris be 直接写文件,这样能大大降低 Dor
在Spring Boot微服务集成Kafka客户端(kafka-clients)操作Kafka
记录:459场景:在Spring Boot微服务集成Kafka客户端kafka-clients-3.0.0操作Kafka。使用kafka-clients的原生KafkaProducer操作Kafka生产者Producer。使用kafka-clients的原生KafkaConsumer操作Kafka的