elasticsearch-head浏览器插件安装使用
Elasticsearch 是一个非常强大的搜索引擎。它目前被广泛地使用于各个 IT 行业。Elasticsearch 是由 Elastic 公司创建。它的代码位于 GitHub - elastic/elasticsearch: Free and Open, Distributed, RESTful
【大数据&AI人工智能】企业级大数据产品体系技术架构白皮书
DT数据技术发展,从电商域数据出发,经历了数据中台化,后续辐射、涵盖了整个企业生态体系下的全域数据资产,围绕数据资产沉淀出了一整套的技术架构,自下而上可以分为四大模块,分别是采集、建设、管理、应用。架构图从下往上看,从数据采集和接入为始,抽取到计算平台,通过OneData体系,以“业务板块+分析维度
Hadoop集群完全分布式搭建
hadoop集群分布式的搭建
Python+matplotlib设置坐标轴文本标签排列方式
在默认情况下,y轴的文本标签方向是下面这样的:有时候这样子不方便看,我们可能希望文字水平显示并且每行显示一个字,如下图:这时可以使用ylabel()函数的rotation属性设置为'...
搭建开源元数据平台DataHub
DataHub是现代数据堆栈的开源元数据平台,旨在实现端到端数据发现、数据可观察性和数据治理。这个可扩展的元数据平台是为开发人员构建的,以适应其快速发展的数据生态系统的复杂性,帮助数据从业者利用其组织内的数据价值。............
大数据开发之利剑 -- TDengine
在大数据技术全球爆炸的时代,以及大数据在各行各业的实际应用,大数据的快速发展就像计算机和互联网一样,很可能成为新一轮的技术革命。数据处理、机器学习、AI等新兴技术诞生,会改变数据世界的许多算法和理论基础,从而实现科技突破。那么在大数据开发中需要的数据库技术有那些呢?其实数据库技术的成熟度取决于互联网
关于Hbase启动没有Hmaster和Regionserver的问题
没有启动成功需要考虑时间没同步,配置文件是否有误
HBase RowKey设计和实现
HBase由于存储特性和读写性能,在OLAP即时分析中发挥重要作用,Rowkey的设计好坏关乎到HBase的使用情况。我们知道HBase中定位一条数据需要四个维度的限制:RowKey,Column Family,Column Qualifier,Timestamp。RowKey是其中最容易出错的,不
Spark读取CSV文件(Scala)
header: 是否指定首行作为schema。format: 指定读取的文件格式:csv。schema: 指定数据字段的格式。
大数据框架之Hadoop:MapReduce(五)Yarn资源调度器
Yarn资源调度器
1、kettle知识点系列之kettle的循环模式
这种模式是在我使用复杂模式后,我连接的资源库常常会因为这个循环导致速度慢、卡等问题,最后发现了这种模式。这种模式是在我解决问题的过程中自己写的,刚开始我使用简单模式处理场景需求,但是我的作业比较复杂,循环需要执行的地方是作业,作业中又有很多作业,作业中的转换又有。这是我个人做的一个循环demo作业,
Spark性能优化三 checkpoint
Spark性能优化三 checkpoint机制的原理和使用
docker搭建单机hadoop
docker搭建hadoop
Hadoop 50070端口打不开怎么办?
若已部署成功,请进行第二步排查!Hadoop50070是hdfs的web管理页面,在搭建Hadoop集群环境时,有些大数据开发技术人员会遇到Hadoop 50070端口打不开的情况,引起该问题的原因很多,想要解决这个问题需要从以下方面进行排查!以上是Hadoop 50070端口打不开的正常排查顺序和
Android系统10 RK3399 init进程启动(三十) Selinux编译方法
本章节重点介绍在Android源码中如何编译selinux模块, 以及如何查看编译日志
Kafka发送消费消息
3.发送消息把消息发送给broker中的某个topic我们可以直接在命令行中输入内容,将消息发送到Kafka中,每一行会被当做一个独立的消息;使用kafka的发送消息客户端——>发送到指定的kafka服务器地址和topic主题就是日志文件下:主题-标识id分区下的0000.log上面也讲了消息的发送
从0到1介绍一下开源大数据比对平台dataCompare
在大数据领域也已经工作了多年,无论所待过的大公司还是小公司,都会遇到集群升级迁移过程中据搬迁等相关工作,经常会碰到搬迁之后,搬迁的数据是不是能对的上呢?两边数据究竟是不是一致的呢?如果不一致,那又有哪些差异呢?能不能更快地找到差异解决问题呢?
大数据-数据底座架构/数据中台建设
在信息化向数字化转型的过程中,企业积累了海量的数据,并且还在爆发式的增长。数据很多,但是真正能产生价值的数据却很少。数据普遍存在分散,不拉通对齐等问题,缺乏统一的定义及架构,找到想要的,能用的数据越来越难。如何实现数据的汇聚和联接,打破数据孤岛与垄断,就显得格外重要。...............
阿里云短信服务
阿里云短信服务,包括一些坑和技巧
华为数字化转型之道 结语 数字化转型的8个成功要素
华为开展数字化转型的过程中,积累了一些经验和教训,总结起来有如下成功要素。