CENTOS上的网络安全工具（二十六）SPARK+NetSA Security Tools容器化部署(2)
介绍NetSA工具集 yaf + super mediator + mothra的安装部署方法，实现数据流、DPI信息的大数据分析平台构建。
腾讯云大数据ClickHouse遇见Schema-less: 半结构化数据分析性能提升20倍！
ClickHouse是一个开源的高性能列式数据库管理系统，也是高性能大数据实时分析引擎的基石。而在半结构化数据处理领域，ClickHouse显得力不从心。腾讯云数据仓库另辟蹊径融合Schema-less数据库灵活性能力，使得大数据实时分析系统兼具高性能与灵活性。
【Hive】分隔符 『 单字节分隔符 | 多字节分隔符』
1. 概述2. 单字节分隔符方法：使用delimited关键字3. 其它复杂情况方式一：写MR程序进行字符替换转为单字节分隔符问题（不推荐）方式二：自定义InputFormat转为单字节分隔符问题（不推荐）方式三：使用serde关键字 （推荐）
大数据Flink（五十一）：Flink的引入和Flink的简介
随着第三代计算引擎的出现，促进了上层应用快速发展，例如各种迭代计算的性能以及对流计算和 SQL 等的支持。对于上层应用来说，就不得不想方设法去拆分算法，甚至于不得不在上层应用实现多个 Job 的串联，以完成一个完整的算法，例如迭代计算。在德语中，Flink一词表示快速和灵巧，项目采用松鼠的彩色图案作
Python 3 使用HBase 总结
Happybase是Python通过Thrift访问HBase的库，实现起来方便、快捷。造成此类问题的原因是：使用HBase 自带ZooKeeper 分布式调度框架造成，由于我的环境是单机版本，我的大致设置是使用独立ZooKeeper 服务。如下是我hbase-site.xml 和hbase-env
【大数据工具】Kafka伪分布式、分布式安装和Kafka-manager工具安装与使用
管理多个 Kafka 集群便捷的检查 Kafka 集群状态（topic，broker，备份分布情况，分区分布情况）选择要运行的副本基于当前分区状况进行可以选择 topic 配置并创建 topic（0.8.1.1 和 0.8.2 的配置不同）删除 topic（只支持 0.8.2 以上的版本并且要在 b
Spark的dropDuplicates或distinct 对数据去重
消除重复的数据可以通过使用 distinct 和 dropDuplicates 两个方法。
(七) ElasticSearch 分词器
分词器是 Elasticsearch 中的一个组件，用于将文本转换为词项，以便于搜索和索引。它负责将输入的文本进行拆分、标准化和处理，生成最终的词项列表。
ODPS是什么，阿里云ODPS前世今生
ODPS（OpenDataPlatformandService）是阿里云自研的一体化大数据智能计算平台，10余年来持续迭代，提供了实时离线一体、流批一体、湖仓一体、大数据+AI一体的多场景能力，是业界少有的完全自主研发，支持10万级服务器并行计算、百万级CPU可扩展大数据智能计算平台。
大数据-玩转数据-FLINK-从kafka消费数据
运行本段代码，等待kafka产生数据进行消费。
Kafka消息监控管理工具Offset Explorer的使用教程
Offset Explorer是一款用于监控和管理Apache Kafka集群中消费者组偏移量的开源工具。它提供了一个简单直观的用户界面，用于查看和管理Kafka消费者组偏移量的详细信息。
【大数据系列之MySQL】（二十五）：MySQL中的子查询
子查询：出现在其它语句内部的select语句，称为子查询或内查询，就是嵌套的查询结果集。
Windows下安装HBase
HBase（Hadoop Database），是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
ElasticSearch 管理界面以及常用的命令
进入kibana，点击Dev Tools，此处可以编写es的查询语句；点击Management可以进入index的管理界面。
使用java写一个对接flink的例子
方法生成 1000 个从 0 到 999 的数字作为模拟数据，将它们转化为字符串并拼接成键值对，然后使用 Flink 的 Kafka 生产者将数据写入到 Kafka 的。方法开启了检查点，并设置了检查点间隔和模式。它使用了 Flink 的 Kafka 消费者从 Kafka 主题。中读取数据，然后将每
Flink Metrics监控 pushgateway搭建
Flink Metrics监控 pushgateway搭建
Hadoop概念学习(无spring集成)
文件资源管理的集群与任务调度的集群在一起称为Hadoop集群逻辑上分离,在物理上可以在一起,不同集群分成了不同的进程完成独立的事MapReduce是计算框架,代码层次上的组件,没有集群说HDFS（Hadoop Distributed File System）是Apache Hadoop生态系统中的一
大数据实时链路备战 —— 数据双流高保真压测 | 京东云技术团队
大数据时代，越来越多的业务依赖实时数据用于决策，比如促销调整，点击率预估、广告分佣等。为了保障业务的顺利开展，也为了保证整体大数据链路的高可用性，越来越多的0级系统建设双流，以保证日常及大促期间数据流的稳定性
大数据Flink（六十）：Flink 数据流和分层 API介绍
因此，Flink 是一个用于在无界和有界数据流上进行有状态计算的通用的处理框架，它既具有处理无界流的复杂功能，也具有专门的运算符来高效地处理有界流。由 Flink 应用程序产生的结果流可以发送到各种各样的系统，并且可以通过 REST API 访问 Flink 中包含的状态。在 Flink 中，认为所
【大数据】大数据 Hadoop 管理工具 Apache Ambari（HDP）
Apache Ambari 是 Hortonworks 贡献给Apache开源社区的顶级项目，它是一个基于web的工具，用于安装、配置、管理和监视 Hadoop 集群。 Ambari 目前已支持大多数 Hadoop 组件，包括 HDFS、MapReduce、Hive、Pig、 Hbase、Zooke
