基于机器学习的异常检测与分析技术
传统的运维方式在监控、问题发现、告警以及故障处理等各个环节均存在明显不足，需要大量依赖人的经验，在数据采集、异常诊断分析、故障处理的效率等方面有待提高。本关键技术面对传统运维故障处理效率低、问题定位不准确、人力成本高三大痛点，将人工智能与运维相结合，由AI逐步取代人力决策，通过机器学习方法，快速给出
Hadoop下载与安装
从http://archive.apache.org/dist/hadoop/core/下载Hadoop-3.0.0，下载二进制压缩包文件：hadoop-3.0.0.tar.gz。https://blog.csdn.net/tototuzuoquan/article/details/79954234
【hbase】按时间段批量删除hbase数据
背景是华为大数据平台mrs，这里运用到HDFS、Hive、HBase；数据通过接口接入到hbase，用hive创建hbase外部表。需求是某段时间数据有问题，需要删掉重新补入。
大数据毕业设计题目50例
大数据毕业设计题目50例，该大数据毕业设计题目包含了：“放管服”环境下科技政务大数据平台研究，大数据对会计的挑战及其应对策略试析，新疆畜牧业进入大数据时代，大数据时代高校教学实效问题与路径选择，大数据背景下互联网技术在泾阳县蔬菜种植农业供给侧结构性改革中的应用等。...
虚拟机本地搭建Hadoop集群教程
本地使用VirtualBox三台虚拟机搭建hadoop集群
spark法律服务大数据智能推荐（自己动手做的，完整过程+源码）
与搜索引擎不同，推荐系统并不需要用户提供明确的需求，而是通过分析用户的历史行为，主动为用户推荐能够满足他们兴趣和需求的信息。为了能够更好地满足用户需求，需要依据其网站的海量数据，研究用户的兴趣偏好，分析用户的需求和行为，发现用户的兴趣点，从而引导用户发现自己的信息需求，将长尾网页（长尾网页是指网页的
DataHub调研&数据血缘
在DataHub中可以通过GraphQL API轻松的创建和添加任何实体标签，这样随着时间的推移，实体的属性回越来越丰富。当有一天我们想要查看某一标签的相关实体信息时，只需要在标签位置点击该标签，就会将所有相关的实体数据 列出来。
什么是一网统管？终于有人讲明白了
导读：本文给出了一网统管的定义，介绍了其定位、目标和支撑的业务范畴。作者：郑宇来源：大数据DT（ID：hzdashuju）01一网统管的定义定义：一网统管是打通城市各治理系统的业务平台、管理全域的实体中心和整合治理力量的协同模式，通过技术创新、机制创新和组织创新，实现一张网络管全城、一个中心管全域、
蓝牙信标的优势及应用场景
蓝牙信标是人员定位系统的重要组成部分。蓝牙信标是一种小型、廉价的无线设备，一般由电池供电，运用低功耗蓝牙技能来播送其存在。
Postman之Mock Servers虚拟服务器
Mock Servers虚拟服务器使用教程
Flink简介、基本原理、架构图
Flink是一款支持有状态运算的流计算引擎。支持有状态运算是指数据的计算过程中可以保存计算的中间过程状态，比如我们要计算一个整数数据流的求和，那么我们就需要一个中间变量把数据流中的每一项数据加到这个变量上。而这个变量就是计算的中间状态。Flink框架会帮你管理状态的保存和复原。流计算是指我们要针对一
2020年数学建模国赛B题穿越沙漠
数学建模2020年B题穿越沙漠的模型准备
大数据技术之Hadoop-入门
Hadoop Distributed File System，简称HDFS，是一个Hadoop分布式文件系统。1）NameNode（老板）：负责数据存在什么位置，整个数据的存储情况。2）DataNode：负责数据具体存在哪，存的什么信息。3）2NN（秘书）：备份，辅助NameNode工作，防止Nam
Spark on Yarn 部署模式运行常用参数和认证参数理解
spark 提交任务参数说明
Map集合的遍历方式(3种)
先获取Map集合的全部键的Set集合遍历键的Set集合，然后通过键提取对应的值第二种方式使用foreach遍历Map集合发现Map集合的键值对元素直接是没有类型的。所以不能直接用foreach遍历集合可以通过调用Map的方法：entrySet把Map结合转化成Set集合的形式Set 就可以看成键值对
一文带你了解MySQL之InnoDB统计数据是如何收集的
InnoDB以表为单位来收集统计数据，这些统计数据可以是基于磁盘的永久性统计数据，也可以是基于内存的非永久性统计数据。
实习证明| 大数据在线实习项目意义
实习以企业真实项目为场景，充分感受真实的大数据挖掘过程及其所需要的技能和知识点。
五-1、elasticsearch集群搭建(ES集群搭建)
从零到一，elasticsearch搭建集群
Hive优化总结
一、SQL本身的优化1、只select需要的列，避免select *2、where条件写在子查询中，先过滤再关联3、关联条件写在on中，而不是where中4、数据量大时，用group by代替count distinct5、数据量小时，用in代替join6、避免笛卡尔积7、join时大表放后面，使用
Elasticsearch并发写入版本冲突解决方案
Elasticsearch并发写入版本冲突解决方案
