Hadoop概念学习(无spring集成)
文件资源管理的集群与任务调度的集群在一起称为Hadoop集群逻辑上分离,在物理上可以在一起,不同集群分成了不同的进程完成独立的事MapReduce是计算框架,代码层次上的组件,没有集群说HDFS（Hadoop Distributed File System）是Apache Hadoop生态系统中的一
大数据实时链路备战 —— 数据双流高保真压测 | 京东云技术团队
大数据时代，越来越多的业务依赖实时数据用于决策，比如促销调整，点击率预估、广告分佣等。为了保障业务的顺利开展，也为了保证整体大数据链路的高可用性，越来越多的0级系统建设双流，以保证日常及大促期间数据流的稳定性
大数据Flink（六十）：Flink 数据流和分层 API介绍
因此，Flink 是一个用于在无界和有界数据流上进行有状态计算的通用的处理框架，它既具有处理无界流的复杂功能，也具有专门的运算符来高效地处理有界流。由 Flink 应用程序产生的结果流可以发送到各种各样的系统，并且可以通过 REST API 访问 Flink 中包含的状态。在 Flink 中，认为所
【大数据】大数据 Hadoop 管理工具 Apache Ambari（HDP）
Apache Ambari 是 Hortonworks 贡献给Apache开源社区的顶级项目，它是一个基于web的工具，用于安装、配置、管理和监视 Hadoop 集群。 Ambari 目前已支持大多数 Hadoop 组件，包括 HDFS、MapReduce、Hive、Pig、 Hbase、Zooke
大数据技术之Hadoop（源码解析）
大数据技术之Hadoop源码解析。
2. Elasticsearch客户端实战
Kibana是ELK家族中一个开源、免费的可视化数据搜索和分析平台。借助Kibana，用户不需要编码就可以将ES中分析的结果进行可视化呈现，如以常用的饼图、柱状图和时序图等方式呈现。除了可视化数据分析功能，Kibana还提供了Dev Tools，它是一款可以与ES进行交互式请求的工具，可以借助它进行
yarn安装(windows)
yarn是一个新的JS包管理工具，它的出现是为了弥补npm的一些缺陷。其特点是；快速、安全、可靠。yarn官网需要提前下载nodejs,并使用npm安装。多版本nodejs安装安装yarn有很多方法，官方推荐使用npm安装设置全局安装路径及缓存路径设置完成验证配置打开此电脑 => 属性 => 高级系
Yarn【多队列实例、任务优先级设置】
yarn多队列配置、任务优先级设置
HBase（8）：扫描操作
在HBase，我们可以使用scan命令来扫描HBase中的表。[‘C1:STATUS’, …]在Ruby中[]表示一个数组。只查询订单状态以及支付方式，并且只展示3条数据。查看ORDER_INFO表中所有的数据。注意：要避免scan一张大表！
【Elasticsearch】Elasticsearch基本使用
elasticsearch会自动的将新字段加入映射，但是这个字段的不确定它是什么类型，elasticsearch就开始猜，如果这个值是18，那么elasticsearch会认为它是整形。索引存储了映射类型的字段和其他设置。分词：即把一段中文或者别的划分成一个个的关键字，我们在搜索时候会把自己的信息进
java实现 elasticsearch es 的单个条件查询和多个条件查询，根据id更新指定字段
elasticsearch es 的单个条件查询和多个条件查询，根据id更新指定字段ES根据单个条件查询ES根据多个条件查询ES根据id，局部更新文档
【Hadoop】YARN多资源队列配置及使用实践
由于MapReduce默认采用Capacity Scheduler（详见），因此理论上可以存在多个队列，而默认只有一个队列（default），现有需求：额外创建两个队列分别为online和offline，将这三个队列的资源分别分配为70%、10%、20%，且允许在资源不足时借用其他队列的资源，但最多
大数据Flink（五十五）：Flink架构体系
Flink运行时至少存在一个master处理器，如果配置高可用模式则会存在多个master处理器，它们其中有一个是leader，而其他的都是standby。一个Task可以获得的最大并行度取决于整个Flink环境的可用Slot数量，也就是如果有8个Slot，那么最大并行度也就是8，比如1个TM是一个
大数据-------元数据管理
大数据之元数据管理
Hadoop知识点总结
Spark是一种通用的大数据处理框架，它提供了比MapReduce更高级的计算模型，如RDD和DataFrame，以及丰富的计算库，如MLlib和GraphX。使用Spark作为Hive的计算引擎可以实现内存级的计算，大大提高了查询速度，特别是对于迭代式的数据处理任务。每个队列都有固定的资源容量，当
大数据常见面试问题汇总
你。
6道常见hadoop面试题及答案解析
Hadoop生态系统，拥有15多种框架和工具，如Sqoop，Flume，Kafka，Pig，Hive，Spark，Impala等，以便将数据摄入HDFS，在HDFS中转移数据（即变换，丰富，聚合等），并查询来自HDFS的数据用于商业智能和分析。具有数据的元数据，但也允许指定用于读取文件的独立模式。基
大数据ETL工具Kettle
记录点滴滴，这ETL工具还支持hadoop Hbase,
线上Zookeeper问题解决记录
线上Zookeeper问题解决记录
大数据课程I1——Kafka的概述
1. 我们可以向Kafka发布数据以及从Kafka订阅数据，即我们可以将Kafka看作是一个消息队列或者企业消息系统。所起的作用：缓冲（消峰限流），实现生产与消费的解耦。可以通过远程拷贝，将01的Kafka发送给02，03，更改broker.id即可。3. 当数据到达Kafka之后，可以马上的被消费
