hdfs shell操作
hdfs 的shell 操作
Python大数据-对淘宝用户的行为数据分析
数据获取本次数据是在网上获取的来源于: 数据集-阿里云天池 ,不在进行抓取或收集,大家可以看这篇文章Python爬虫-抓取数据到可视化全流程的实现,详细的写了数据抓取的过程数据清洗首先该数据是在多个文件下的CSV文件,通过递归对文件夹内所有文件进行查询,并合并了所有的指定文件,具体的操作步骤大家可以
Mysql innodb_flush_log_at_trx_commit参数
https://dev.mysql.com/doc/refman/8.0/en/innodb-parameters.html https://www.cndba.cn/hbhe0316/article/22631 https://www.cndba.cn/hbhe0316/article/226
Hudi(2):Hudi的编译和安装
pom文件位置:vim /opt/software/hudi-0.12.0/packaging/hudi-spark-bundle/pom.xml (在382行的位置,修改如下红色部分)位置:vim /opt/software/hudi-0.12.0/packaging/hudi-utilities
首次,第五轮学科评估结果不公开
据教育部学位中心负责人当时介绍,第五轮学科评估强调,评价教师不唯学历和职称,不设置人才“帽子”指标,避免以学术头衔评价学术水平的片面做法。评估自2002年首次开展,平均4年一轮,至今已完成四轮。在上述干部职工大会上,教育部党组成员、副部长郑富芝在讲话中提到,“第五轮学科评估已顺利完成,要稳妥做好结果
【毕业设计】大数据二手房数据分析可视化系统 - python
🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升,传统的毕设题目缺少创新和亮点,往往达不到毕业答辩的要求,这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设,学长分享优质毕业设计项目,今天要分享的是🚩 大数据二手房数据爬取与分析可视化🥇学
Ubuntu18.04安装教程(小白必备,非常全面)
Ubuntu18.04详细安装教程以及网卡配置,小白试用
SQL Server存储过程(数据库引擎)使用详解
SQL Server 中的存储过程是一组一个或多个 Transact-SQL 语句的引用。过程类似于其他编程语言中的构造,因为它们可以:- 接受输入参数并以输出参数的形式向调用程序返回多个值。- 包含在数据库中执行操作的编程语句。其中包括调用其他过程。- 向调用程序返回状态值,以指示成功或失败(以及
日志=》kafka》ELK
一般工作方式为c/s架构,client端安装在需要收集日志的主机上,server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。也是一个开源和免费
Flink CDC Oracle 完整踩坑指南
FlinkCDC完整踩坑指南
解决Elasticsearch集群 master_not_discovered_exception 异常
解决elasticsearch集群启动完成后报master_not_discovered_exception异常
数据清洗是清洗什么?
在搭建数据中台、数据仓库或者做数据分析之前,首要的工作重点就是做数据清洗,否则会影响到后续对数据的分析利用。那么数据清洗到底是做什么事情呢?今天我就来跟大家分享一下。
【SQL开发实战技巧】系列(三十一):数仓报表场景☞分层查询如何只查询树形结构某一个分支?如何剪掉一个分支?
第一个案例给大家介绍在树形(分层)查询中,我们如何只查询出来树形的一个分支?如何剪去分支,不能在WHERE中加条件。【SQL开发实战技巧】这一系列博主当作复习旧知识来进行写作,毕竟SQL开发在数据分析场景非常重要且基础,面试也会经常问SQL开发和调优经验,相信当我写完这一系列文章,也能再有所收获,未
Hadoop集群的配置
Hadoop集群的配置,克隆机的配置,免密登录,启动集群等
【2022.3】numpy.core.multiarray failed to import 报错解决方法
解决numpy版本不匹配问题:numpy.core.multiarray failed to import && module compiled against API version 0xe but this version of numpy is 0xd
win10安装rabbitmq(升级版)
win10环境下安装使用rabbitmq消息中间件,适合开发环境使用
大数据学习——Hadoop集群完全分布式的搭建(超详细)
Hadoop集群完全分布式的搭建JunLeon——go big or go home目录Hadoop集群完全分布式的搭建1、分布式集群的网络和节点规划(1)网络规划(2)节点规划2、分布式集群的环境准备(1)克隆虚拟机(2)网络配置、修改主机名、配置网络映射3、设置SSH无密码登录节点4、安装配置H
2021华数杯C题优秀论文思路分析01
问题销售部门认为,满意度是目标客户汽车体验的一种感觉,只要营销者加大服务力度,在短的时间内提高a1-a8五个百分点的满意度是有可能的,但服务难度与提高的满意度百分点是成正比的,即提高体验满意度5%的服务难度是提高体验满意度1%服务难度的5倍。由附录1可知,缺失数据集中在B7,即目标客户的孩子数量。由
hive 增加字段 修改注释
hive 增加字段 修改注释
【SQL开发实战技巧】系列(三十四):数仓报表场景☞如何对数据分级并行转为列
本篇文章讲解的主要内容是:***有个需求:把emp中的结果按工资分级,其中最高的三档作为一列、次高的三档作为一列、其余的作为一列。本篇文章我们来讨论下这个需求怎么实现。给出case when 和pivot两种行转列的方法。通过此案例理解隐藏列信息的重要性。***