Spark机器学习解析
Spark机器学习的介绍，以及对聚类、回归、协同过滤和分类的实践
2022.04.27智警杯CIPUC校内选拔赛-伪集群安装
Hadoop伪集群安装1、 基础配置考核条件如下：(1) 按照左侧虚拟机名称修改对应主机名为hadoop000(使用hostnamectl命令)hostnamectl set-hostname hadoop000bash命令详解：hostnamectl命令用来管理给定主机中使用的三种类型的主机名ba
命令消费kafka报错(id: -1 rack: null) disconnected
WARN clients.NetworkClient: [Consumer clientId=consumer-console-consumer-52833-1, groupId=console-consumer-52833] Bootstrap broker xx.xx.xx.xx:9092 (i
RDD简介
RDD概念RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，是spark core的底层核心，它代表一个不可变、可分区、里面的元素可并行计算的集合。Dataset:就是一个集合，存储很多数据.Distributed：它内部的元素
详解RDD基本概念、RDD五大属性
RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD是spark core的底层核心。Dataset:RDD 可以不保存具体数据, 只保留创建自己的必备信息, 例如依赖和
实验4 NoSQL和关系数据库的操作比较
实验4NoSQL和关系数据库的操作比较1.实验目的（1）理解四种数据库(MySQL、HBase、Redis和MongoDB)的概念以及不同点；（2）熟练使用四种数据库操作常用的Shell命令；（3）熟悉四种数据库操作常用的Java API。2.实验平台（1）操作系统：Linux（建议Ubuntu16
携职教育：国家认可的中级职称有哪些？哪个中级职称最容易考呢？
其中《专业知识与实务》为专业科目，分为工商管理、农业经济、财政税收、金融、保险、运输经济、人力资源管理、旅游经济、建筑与房地产经济、知识产权10个专业。具体请以当地通知为准。中级经济师考试全都是单选题、多选题，没有主观题，满分140分，84分及格，考试科目为《经济基础知识》和《专业知识与务实》，两科
1104报表的内容
1104报表是监管部门向非监管机构收取的完整、系统的报表。从本质上讲非现场监管报表体系就是一种工具和手段，通过这种手段可以帮助监管人员更加准确地识别银行机构的风险和抵御风险的能力，以帮助监管人员更加全面地对风险进行评价和预警。非现场监管表表体系主要有如下五个部分组成：基础报表、 特色报表、 监管指标
超详细！！！Windows下安装RabbitMQ的步骤详解
它遵循Mozilla Public License开源协议，采用 Erlang 实现的工业级的消息队列(MQ)服务器，Rabbit MQ 是建立在Erlang OTP平台上。2、RabbitMQ是基于Erlang开发的，再安装RabbitMQ之前必须先安装配置Erlang。5、测试安装结果 ：cmd
【头歌】大数据从入门到实战 - 第2章 分布式文件系统HDFS
在右侧命令行中启动Hadoop，进行如下操作。在HDFS中创建/usr/output/文件夹；在本地创建hello.txt文件并添加内容：“HDFS的块比磁盘的块大，其目的是为了最小化寻址开销。”；将hello.txt上传至HDFS的/usr/output/目录下；删除HDFS的/user/hado
Kafka：消费者消费失败处理-重试队列
Kafka：消费者消费失败处理-重试队列
国开教育学形考任务2试题1试题及答案
国开教育学形考任务2试题1试题及答案
宏观经济学 索洛模型
索罗模型简介基本推导生产函数消费函数资本存量 投资 折旧投资折旧资本存量的变动结论黄金律水平简介索洛增长模型，又称新古典经济增长模型、外生经济增长模型，是在新古典经济学框架内所提出的著名的经济增长模型。主要用于解释固定资本增加，对GDP 所产生的影响。该模型假设投资的边际收益率递减，即在一定数量后生
RDD转换为DataFrame
spark官方提供了两种方法实现从RDD转换到DataFrame。第一种方法是利用反射机制来推断包含特定类型对象的Schema，这种方式适用于对已知的数据结构的RDD转换；第二种方法通过编程接口构造一个 Schema ，并将其应用在已知的RDD数据中。（一）反射机制推断Schema在Windows系
Hudi（17）：Hudi集成Flink之写入方式
注意：如果要再次生成测试数据，则需要修改meta.txt将自增id中的1改为比10000大的数，不然会出现主键冲突情况。步骤一：创建MySQL表（使用flink-sql创建MySQL源的sink表）步骤二：创建Kafka表（使用flink-sql创建MySQL源的sink表）步骤一：创建kafka源
Hive元数据信息获取
放到mysql中存储，mysql中默认表被创建的时候用的是默认的字符集(latin1)，所以会出现中文乱码。（2）修改hive-site.xml中Hive读取元数据的编码（注意原先是否配置过）注意的是，之前创建的表的元数据已经损坏了，所以无法恢复中文乱码，只能重新创建表。
什么是AB实验？能解决什么问题？终于有人讲明白了
导读：走向身边的AB实验。作者：木羊同学来源：大数据DT（ID：hzdashuju）“AB实验”是一个从统计学中借来的工具。我和大家一样，每次只要看到“统计学”这三个字，下意识就觉得这事和我没啥关系，然后手就忍不住想要点击下一条文章。不过且慢，开篇我说AB实验是一个从统计学中借来的工具，借来给谁用呢
DataGrip和dbeaver成功连接Phoenix及避坑指南（pheonix5.0-hbase2.0）
最近在Phoenix中批量建表，结果发现所有的表都建错了，想着直接删库，重新建库，然后使用以下命令，提示SCHEMA不为空，不能够直接删除，然而几十张表，一张一张删除又不太现实，所以想着能不能借助一些数据库管理工具来简化操作，首先想到的就是最常用的两个工具dbeaver和DataGrip，于是开始了
数据治理建设管理方案（参考）(一)
1、多数企业内部系统建设多，数据分散，各系统数据共享困难，信息化建设“烟囱式”严重；2、企业各部门系统口径不一致，数据标准不统一，数据质量无法整体评估；3、数据不可知，数据挖掘不到位。数据使用者未知数据多，无法得知这些数据与业务的联系，不知如何管理数据；4、数据不可控，数据使用者对汇集数据、处理数据
数据可视化概述
1、什么是数据可视化：简单理解用图来代替数据集，学术的讲的可以理解为把信息映射成视觉效果的过程为什么要进行数据可视化：我们利用视觉获取的信息量，远远比别的感官要多得多数据可视化能够在小空间中展示大规模数据数据可视化的目的：是对数据进行可视化处理，以使得能够明确地、有效地传递信息。数据可视化是为了从数
