皮尔逊相关系数python实现
皮尔逊相关系数python实现
211大二计科生高呼：王侯将相宁有种乎？
大家好，我是科科，来自四川农业大学，高中时因为一些原因休学了一年多，后来重新读高中，从高二时转到职高，选择的计算机专业，现在四川农业大学
从一个sql引发的hive谓词下推的全面复盘及源码分析（上）
嗨，大家好，我是小萝卜算子。（微信公众号：数据仓库践行者。感谢关注）下面开始今天的正题Hive版本：hive-2.1.1经常听到**【谓词下推】**这个词，却从来没有对它进行全面的深入的研究，直到前些天，我们的数据产品跑过来跟我讨论 他写的一个sql，这个sql最终出现的结果并不是他想要的。看了具体
一本院校大三萌妹子须臾：我的大数据之路
大家好啊！这里是须臾，正就读于一所普通的一本院校，是新兴专业“数据科学与大数据技术”的大三学生，马上要大四秋招了，压力好大哇，捂脸。
Spark任务提交源码
本文主要介绍了spark源码提交的流程，从SparkSubmit类main方法跟踪到spark主要实体driver和executor的创建过程，记录了整个过程中比较重要的节点的源码，以及对相关方法的功能实现进行了简要介绍。
大数据之安装Hadoop单机伪分布（新手上路必备）三
1，安装vmware虚拟机，Linux版本可以自行选择2，安装ubuntu虚拟机 2.1 下载iso镜像 百度搜索 中国镜像站 随便哪个网页都可以，各大公司，各大高校； 2.2 安装ubuntu虚拟机；3，hadoop的安装模式 官方帮助文档https://hadoop.apache.org/doc
Linux免密大法好 ssh-copy-id 和 expect 免交互输入脚本
Linux 终于不用手动输入 密码了，得益于 ssh-copy-id 与 expect
Hadoop本地运行模式（Grep案例和WordCount 案例）
Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。这里先介绍本地运行模式运行官方Grep案例提供一些文本文件, grep可以从中找到想要匹配的文本运行官方WordCount 案例这例子是对文件中某些单词进行统计数。
spark学习之处理数据倾斜
大数据面试，遇见数据倾斜不会答？最全的数据倾斜总结来教你如何解决它。
Hadoop 大数据Hive仓库组件部署超详细
1.数据仓库1.1概念构建面向分析的集成化数据环境面向分析的存储数据1.2主要特征数据仓库是面向主题的集成的非易失的和时变的数据集合，用以支持管理决策1.2.3 非易失性开启三台虚拟机上传压缩包到software解压到src下改名修改环境变量生效环境变量查询卸载Maeidb文件包上传MySQL安装包
实习踩坑之路：一个ElasticSearchJava客户端的批量处理操作bulkIndexAsync引发的内存泄漏的血案
没错这又是一次血案，不过是在测试环境发现的，还好不是上次线上导致的CPU300%，这次及时发现，避免了线上血案，不过我还是要复盘一下的，下面就看看我的分析，看看有没有什么错误的地方
spark学习之sparksql语法优化
🐹上一章的学习中，我们学习了spark的资源调度进行了学习，今天我们要学习的内容是sparksql语法优化部分，对往期内容感兴趣的同学可以参考👇:上一篇: spark学习之资源调度.上一篇: spark学习之执行计划explain.hadoop专题: hadoop系列文章.spark专题: sp
spark学习之资源调度
本文主要介绍从spark的内存、持久化、cpu的角度介绍spark的资源调度的情况。
计算机视觉之卷积神经网络
计算机视觉之卷积神经网络
Flink-Exactly-once一致性系列实践1
Flink-Exactly-once系列实践-KafkaToKafka文章目录Flink-Exactly-once系列实践-KafkaToKafka一、Kafka输入输出流工具类二、统计字符个数案例三、消费者消费kafka的事务数据总结与可能出现的问题一、Kafka输入输出流工具类代码如下（示例）：
Linux 上 学习使用 KingbaseES数据库 (postgresql 版)
Linux 上 学习使用 KingbaseES数据库本文章带你快速学习 KingbaseES数据库 的知识
Flink1.14.3流批一体体验
Flink1.14.3流批一体体验
大数据组件之HBase
文章目录前言一、HBase1、Region2、RegionServer3、Master4、Zookeeper二、HBases的Standalone安装1、解压配置环境变量1.下载2.解压3.配置环境变量2、修改配置文件信息1.hbase-env.sh2.hbase-site.xml3.启动HBase
大数据Hadoop之——Scala基础
文章目录一、概述二、Scala发展历史三、 Scala 和 Java 关系四、Scala 环境搭建一、概述Scala是一门多范式的编程语言，一种类似java的编程语言 ，设计初衷是实现可伸缩的语言 、并集成面向对象编程和函数式编程的各种特性。Spark就是使用Scala编写的。因此为了更好的学习Sp
Flume 与 Kafka 集成开发（和最近的日记）
自从早上的kafka被拿下之后，我今天的进度异常顺利，果然版本对了啥都不容易错，版本错了啥都是错的。平常看视频最多也就7 8 个，今天差不多看了十二三个，九点四十左右结束。明天再整理了，太累了。 刚刚得到一个好消息，后天的图书馆要解封了，确实幸喜，明天寝室艰苦奋斗一天，后天又可以去图书馆了..
