Elasticsearch各个版本重要特性
Elasticsearch各个版本重要特性Elasticsearch 5Elasticsearch 6.0Elasticsearch 7.0Elasticsearch 8.0Elasticsearch 5首先说明下，ES是从版本2直接跳到5的，主要是为了和Elastic Stack其他组件保持版本一
公安大数据平台建设项目
第一部分：软硬件集成服务一、整体建设内容：本项目按照公安部统一部署，根据XX省公安厅大数据智能化建设总体方案，新建YY公安大数据平台，主要包括新一代公安信息网建设、网络安全建设、云计算平台建设、大数据平台建设、构建统一运维运营服务体系。项目主要建设内容为：（1）新一代公安信息网建设：根据《信息安全技
Hbase Hbck2修复工具介绍和实践
Hbase Hbck2修复工具介绍和实践,我们在Hbase 的使用过程中，我们可能遇到过因为：机房断电、机房断网、ZK或者HBase的GC时间过长等原因引发的一系列HBase不可用的问题，这些问题通常需要通过hbase-operator-tool（HBase集群修复工具）中的工具来解决
构建高效数据中台——数据只有被使用起来，才能创造价值
数据中台是一个非常庞大的系统，每一个部分单独拿出来讲都可以讲很多，而今天这篇也只是抛砖引玉，对于想要知道数据中台大概是什么、解决什么问题有个整体的初步了解，关于数据建模、数据指标体系建设、数仓搭建、BI可视化等，如果大家有兴趣，我后面可以再详细展开写一写。
ElasticSearch入门学习：基础概念与简介
ElasticSearch是一个分布式、可水平扩展的搜索和数据分析引擎，是用java开发并且是当前最流行的开源的企业级搜索引擎，能够达到实时搜索，并且设计了友好的Restful-API使得开发者无需关注底层机制，直接开箱即用；还拥有分片、副本机制解决了集群下性能与高可用问题。稳定、可靠、快速、安装使
2022年中国数据库排行榜年终盘点-墨天轮
刚刚过去的2022年里，墨天轮发布了12期中国数据库排行榜解读文章细数各家国产数据库的高光时刻。让我们乘坐时光列车，一起回顾他们的年度流行度趋势！
avro格式详解
【Avro介绍】Apache Avro是hadoop中的一个子项目，也是一个数据序列化系统，其数据最终以二进制格式，采用行式存储的方式进行存储。Avro提供了：丰富的数据结构可压缩、快速的二进制数据格式一个用来存储持久化数据的容器文件远程过程调用与动态语言的简单集成，代码生成不需要读取或写入数据文件
视频号|常见违规限流情况及解除方法
视频号有哪些违禁词？什么情况下会被限流？如何解除限流？这些问问统统给大家找到答案了，点击了解详情
ISO 26262功能安全硬件指标计算实践（下）：FMEDA和FTA分析计算
介绍如何对硬件进行量化的安全性评价。
实时数据湖 Flink Hudi 实践探索
本文介绍的介绍的主题是 Flink 和 Hudi 在数据湖 Streaming 方向的一些探索和实践，将会围绕以下四点展开：• Apache Hudi 背景介绍• Flink Hudi 设计• Hudi 应用场景• Hudi RoadMap
Elasticsearch版本升级实践、注意事项
从官方文档看可以发现两个大版本升级需要关注到具体的版本，比如想从 5.x 版本升级到 7.x 版本，就必须先升级到 6.8 版本，再从 6.8 升级到 7.x 版本。1. API检查是否可以升级，不能则先改造2. 升级ES集群（此时依然使用6.8客户端，兼容访问6.8/7.17集群）3. 重建索引（
Spark 内存迭代计算
Spark内存迭代计算，算子之间形成DAG，每个task根据并行度在内存中不断迭代计算
Hudi系列15:Hudi元数据同步到Hive
Hudi元数据同步到Hive
39学习分布式计算框架 Hadoop 的高可用方案，如 NameNode 集群、ZooKeeper
在启动 Hadoop 集群后，使用 Hadoop 命令和 API 可以轻松地测试和管理 NameNode 高可用性。在 Hadoop 集群中，NameNode 是一个关键组件，它负责管理 Hadoop 分布式文件系统（HDFS）中的文件和目录。要配置 NameNode 集群，需要在 Hadoop 配
Flink在Yarn模式部署和命令
flink的yarn提交模式
大数据=SQL Boy,SQL Debug打破SQL Boy 的僵局
网上经常盛传 大数据=sql boy，后端开发=crud boy，算法工程师=调参boy在大数据领域也工作了好几年了，确实大数据开发，很多工作就是写sql，hive sql、spark sql、flink sql等等sql。
Hbase伪分布部署
本实验任务主要完成基于ubuntu环境的Hbase伪分布部署的工作。通过完成本实验任务，要求学生熟练掌握Hbase伪分布部署的方法，为后续实验的开展奠定Hbase平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。1、掌握Hbase伪分布部署Ubuntu、Had
大数据项目实战之数据仓库：用户行为采集平台——第2章 项目需求及架构设计
大数据项目实战之数据仓库：用户行为采集平台——第2章 项目需求及架构设计
大数据--python远程连接Hive
步骤：启动metastore启动hiveserver2使用beeline进行连接测试，查看地址等是否能够成功连接(确认无误可以跳过)使用python连接hive(粗暴的文件配置以及完整操作见文末)一.启动hiveserver21.配置mode为http，端口为10001(默认)<propert
上海罗森便利副总经理何韻民：我们不要为了数字化而数字化，要让数字化为实体服务丨数据猿专访...
数据智能产业创新服务媒体——聚焦数智· 改变商业数字化正在进入深水区。随着云计算、大数据、人工智能等技术的发展，全球数字化浪潮滚滚而来。可以看到，各国推行建设数字经济积极政策，各行业也在寻求融合数字化最优解。便利店，是人们最为熟悉的实体零售场景之一，如今也在积极拥抱数字化。谈及便利店，日企是绕不开
