es 启动elasticsearch.bat发生闪退
在bin目录下输入elasticsearch.bat启动，发生报错，查看Caused by 的后面的错误信息，发现是elasticsearch.yml配置文件的编码格式错误。打开我的elasticsearch.yml配置文件 发现我的注释是中文，所有要使用utf-8的编码格式。最后说一句，方法有很多
Ansible 自动化运维
自动化运维参考
Pytorch固定随机种子&&复现模型
PyTorch固定随机数种子结果可复现
TEZ介绍及使用
TEZ介绍及使用
一文搞懂什么是“退化维度”
当一个维度没有数据仓库需要的任何数据的时候就可以退化此维度，需要把退化的相关数据迁移到事实表中，然后删除退化的维度。退化维度没有对应的维表，但可以获取与之相关的事实，如上订单号对应的订购者，服务对应的订购金额等。Kimball书中对退化维度的描述为：操作型事务控制号码，例如：订单号码，发票号码，提货
Python提取Word文档中所有超链接地址和文本
使用Python扩展库python-docx操作Word文档的相关文章，可以阅读：Python批量导入图片到Word文件Python查找Word文件中红色和加粗的文字（附元宵节送书活动中奖...
【Hive进阶】-- Hive SQL、Spark SQL和 Hive on Spark SQL
Hive由Facebook开发，用于解决海量结构化日志的数据统计，于2008年贡献给 Apache 基金会。Hive是基于Hadoop的数据仓库工具，可以将结构化数据映射为一张表，提供类似SQL语句查询功能本质：将Hive SQL转化成MapReduce程序。Spark SQL主要用于结构型数据处理
kibana 启动问题
kibana 启动后 server is not ready yet
elasticsearch-head浏览器插件安装使用
Elasticsearch 是一个非常强大的搜索引擎。它目前被广泛地使用于各个 IT 行业。Elasticsearch 是由 Elastic 公司创建。它的代码位于 GitHub - elastic/elasticsearch: Free and Open, Distributed, RESTful
【大数据&AI人工智能】企业级大数据产品体系技术架构白皮书
DT数据技术发展，从电商域数据出发，经历了数据中台化，后续辐射、涵盖了整个企业生态体系下的全域数据资产，围绕数据资产沉淀出了一整套的技术架构，自下而上可以分为四大模块，分别是采集、建设、管理、应用。架构图从下往上看，从数据采集和接入为始，抽取到计算平台，通过OneData体系，以“业务板块+分析维度
Hadoop集群完全分布式搭建
hadoop集群分布式的搭建
Python+matplotlib设置坐标轴文本标签排列方式
在默认情况下，y轴的文本标签方向是下面这样的：有时候这样子不方便看，我们可能希望文字水平显示并且每行显示一个字，如下图：这时可以使用ylabel()函数的rotation属性设置为'...
搭建开源元数据平台DataHub
DataHub是现代数据堆栈的开源元数据平台，旨在实现端到端数据发现、数据可观察性和数据治理。这个可扩展的元数据平台是为开发人员构建的，以适应其快速发展的数据生态系统的复杂性，帮助数据从业者利用其组织内的数据价值。............
大数据开发之利剑 -- TDengine
在大数据技术全球爆炸的时代，以及大数据在各行各业的实际应用，大数据的快速发展就像计算机和互联网一样，很可能成为新一轮的技术革命。数据处理、机器学习、AI等新兴技术诞生，会改变数据世界的许多算法和理论基础，从而实现科技突破。那么在大数据开发中需要的数据库技术有那些呢？其实数据库技术的成熟度取决于互联网
关于Hbase启动没有Hmaster和Regionserver的问题
没有启动成功需要考虑时间没同步，配置文件是否有误
HBase RowKey设计和实现
HBase由于存储特性和读写性能，在OLAP即时分析中发挥重要作用，Rowkey的设计好坏关乎到HBase的使用情况。我们知道HBase中定位一条数据需要四个维度的限制：RowKey，Column Family，Column Qualifier，Timestamp。RowKey是其中最容易出错的，不
Spark读取CSV文件（Scala）
header: 是否指定首行作为schema。format: 指定读取的文件格式：csv。schema: 指定数据字段的格式。
大数据框架之Hadoop：MapReduce（五）Yarn资源调度器
Yarn资源调度器
1、kettle知识点系列之kettle的循环模式
这种模式是在我使用复杂模式后，我连接的资源库常常会因为这个循环导致速度慢、卡等问题，最后发现了这种模式。这种模式是在我解决问题的过程中自己写的，刚开始我使用简单模式处理场景需求，但是我的作业比较复杂，循环需要执行的地方是作业，作业中又有很多作业，作业中的转换又有。这是我个人做的一个循环demo作业，
Spark性能优化三 checkpoint
Spark性能优化三 checkpoint机制的原理和使用
