Spark SQL中的DataFrame的创建
创建 SparkSession 对象可以通过SparkSession.builder().getOrCreate()方法获取,但使用 Spark-Shell编写程序时，Spark-Shell客户端会默认提供了一个名为sc的 SparkContext 对象和一个名为 spark 的 SparkSess
第6篇: ElasticSearch写操作—原理及近实时性分析(完整版)
目前国内有大量的公司都在使用 Elasticsearch，包括阿里、京东、滴滴、今日头条、小米、vivo等诸多知名公司。除了搜索功能之外，Elasticsearch还结合Kibana、Logstash、Elastic Stack还被广泛运用在大数据近实时分析领域，包括日志分析、指标监控等多个领域.E
大数据概论第二章理论基础
目录数据科学的学科地位统计学统计学与数据科学数据科学中常用的统计学知识数据科学视角下的统计学机器学习机器学习与数据库数据科学中常用的机器学习知识数据科学视角下的机器学习数据可视化数据科学的学科地位从学科定位上看，数据科学处于三大领域交叠之处，如下维恩图所示：从DrewConway的《数据科学维恩图》
大数据前端可视化大屏--前端开发之路
可视化常用组件有哪些？ 常用的技术栈是什么？可视化的常见问题有哪些如何解决？一、什么是可视化大数据可视化这词相信大家并不陌生，从 17 世纪的地图和图形到 19 世纪初饼图的发明，使用图表来理解数据的概念已经存在了数个世纪。可视化一直伴随着我们的生活，在我们的生活中更是无处不在，像天猫双十一、女神节
Spark面试突击
大数据方面的面试总结汇总，本篇为Spark的面试总结。文章目录一、Spark基础1. 你是怎么理解Spark，它的特点是什么？2. Spark架构了解吗？3. 简述Spark的作业提交流程4. Spark与Hadoop对比？Spark为什么比MapRedude快？二、Spark Core5. 什么是
最近面试太难了。
在面试数据分析师时，往往会考察一下SQL的掌握程度。最近有位同学面试了几家，分享了一些觉得有些难度的SQL面试题：比如会让你用SQL实现行转列和列转行操作、用SQL计算留存、用SQL计算中位数、还有如何统计用户最大连续登录天数？当然这种题变形也很多，连续打卡天数、连续学习天数，连续点击天数等等都是同
数据中台建设（十一）：数据中台解决方案参考与未来发展方向
各个行业的数据中台解决方案类似，只是涉及到的业务不同，建设框架类似。下面以零售行业构建数据中台和网易构建的数据中台为例，说明构建数据中台的解决方案。
数据科学理论基础知识汇总---《数据科学理论与实践(第二版)》第二章
目录前言一、数据科学的学科地位二、统计学2.1 统计学与数据科学2.2 数据科学中常用的统计学知识2.3 数据科学视角下的统计学三、机器学习3.1 机器学习与数据科学3.2 数据科学中常用的机器学习知识3.3 数据科学视角下的机器学习四、数据可视化五、总结
Scala基础语法入门（三）Scala中的各种运算符
🙆♂️🙆♂️ 写在前面🏠 个人主页：csdn春和📚 推荐专栏：更多专栏尽在主页！ JavaWeb专栏（从入门到实战超详细！！！） SSM专栏 （更新中…）📖 本期文章：Scala基础语法入门（三）Scala中的各种运算符如果对您有帮助还请三连支持，定会一 一回访！🙋🏻♂
Elasticsearch 快照生命周期管理 (SLM) 实战指南
1、Elasticsearch 保证高可用性的方式Elasticsearch 保证集群高可用的方式包含但不限于如下三种：方式一：副本分片。主分片失效后，副本分片会被提升为主分片。方式二：跨集群复制主从同步。简称：CCR，指的是索引数据从一个 Elasticsearch 集群复制到另一个 Elasti
数据中台建设（八）：数据服务体系建设
数据服务是数据中台能力的出口，是支撑数据应用的重要支撑。数据资产只要形成数据服务被企业使用，才能体现价值，传统做法是根据某个应用产品的需求，独立构建非常多的数据接口与应用产品对接，这会造成大量接口的重复建设，且修改、运维、监控的成本都很大。我们可以构建可管理、可复用、可监控的统一标准下的数据服务体系
第4篇: Elasticsearch各版本特性总结及7.X增删改查实战
背景：目前国内有大量的公司都在使用 Elasticsearch，包括阿里、京东、滴滴、今日头条、小米、vivo等诸多知名公司。除了搜索功能之外，Elasticsearch还结合Kibana、Logstash、Elastic Stack还被广泛运用在大数据近实时分析领域，包括日志分析、指标监控等多个领
数据中台建设（七）：数据资产管理
文章目录数据资产管理一、数据标准管理二、元数据管理三、主数据管理四、数据质量管理五、数据安全管理六、数据共享管理七、数据生命周期管理数据资产管理随着企业数据越来越大，企业意识到数据是一种无形的资产，通过对企业各业务线产生的海量数据进行合理管理和有效应用，能盘活并充分释放数
第3篇: Elasticsearch架构及模块功能介绍
背景：目前国内有大量的公司都在使用 Elasticsearch，包括阿里、京东、滴滴、今日头条、小米、vivo等诸多知名公司。除了搜索功能之外，Elasticsearch还结合Kibana、Logstash、Elastic Stack还被广泛运用在大数据近实时分析领域，包括日志分析、指标监控等多个领
推荐系统（5）——Hadoop完全分布式（开发重点）
开发重点，Hadoop完全分布式搭建1. 将hadoop100上的拷贝到101和102上2. ssh免密登录 3. 集群配置 4.制作并使用xsync分发脚本（可忽略） 5. 群起集群并测试1. 将hadoop100上的拷贝到101和102上 （1）scp（secure co
MySQL索引和事务
索引概念与作用:索引就是相当于一本书的目录(index),他能够根据目录中每个章节对应的页码,就能够快速找到对应的文章章节,MySQL 的索引也是一样的,创建不同的类型,当从数据库中进行查找的时候,就可以快速定位,检索数据,对于提高数据库的性能有很大的帮助,就不用遍历查找,当然,书的目录...
flume自定义拦截器开发步骤
步骤如下：1、新建一个java项目，不需要依赖spring等一系列依赖。只需要加上你用的 工具类的依赖。flume的依赖不用加，因为服务器里面有。2、实现Interceptor接口，重写里面的intercept方法，把你的逻辑写好，然后返回event。3、打包，打的包是很小的那种，没有其他杂七杂八的
RDD的处理过程
Spark用scala语言实现了RDD的API，程序开发者可以通过调用API对RDD进行操作处理。下图为RDD的处理过程：RDD经过一些列的“转换”操作，每一次转换都会产生不同的RDD，以供给下一次“转换”操作使用，直到最后一个RDD经过“行动”操作才会被真正计算处理，并输出到外部数据源中，若中间的
第2篇: Elasticsearch的相关名称解释
目前国内有大量的公司都在使用 Elasticsearch，包括阿里、京东、滴滴、今日头条、小米、vivo等诸多知名公司。除了搜索功能之外，Elasticsearch还结合Kibana、Logstash、Elastic Stack还被广泛运用在大数据近实时分析领域，包括日志分析、指标监控等多个领域。
数据中台建设（三）：数据中台架构介绍
数据中台要求全企业共用一个数据技术平台、共建数据体系、共享数据服务能力。实际上一个企业中由于各个业务线发展不均衡，各自都有独立的数据处理架构，导致共享数据非常困难，所以要构建数据中台不仅是对技术架构的改变，同时还是对整个企业业务运转模式的改变，需要企业在组织架构和资源方面给予支持。数据中台是一个企业
