如何部署WebSpoon9.0.0(Kettle的Web版本)
基于开源ETL工具Kettle的Web版本,本文记录了从拉取项目到成功运行的全过程。
增量表、全量表、拉链表的应用场景及优缺点详解
维度表:业务过程的业务实体,如:商品,用户,订单。代理键(自增列,可以充当主键)自然键(唯一区分,商品id,订单id)维度属性(商品的大小,颜色等)事实表:业务内特定事件的数据(大量的行),如:商品的销售记录。事实表的常见分类包括:全量表、增量表、流水表、拉链表。接下来,我们将重点介绍什么是全量表、
人工智能的几个研究方向
人工智能主要研究内容是:分布式人工智能与多智能主体系统、人工思维模型、知识系统、知识发现与数据挖掘、遗传与演化计算、人工生命、人工智能应用等等。其中热门研究有以下几种。
Hadoop的安装与配置(非常重要)
这是以主从模式来运行的,前两个在maser节点上,最后一个在slave节点上。
Hive数据仓库应用课后题及答案
Hive数据仓库应用课后题及答案
【SQL开发实战技巧】系列(三):SQL排序的那些事
如何以指定的单列或多列顺序返回查询结果、通过translate函数替换字符串、如何根据数字和字母混合字符串中的字母排序以及空值排序。【SQL开发实战技巧】这一系列博主当作复习旧知识来进行写作,毕竟SQL开发在数据分析场景非常重要且基础,面试也会经常问SQL开发和调优经验,相信当我写完这一系列文章,也
xxl-job重复执行问题
xxl-job重复执行
大数据NiFi(二十):实时同步MySQL数据到Hive
连接关系中,我们这里只关注“insert”和“update”的数据,后期获取对应的属性将插入和更新的数据插入到Hive表中,对于“delete”的数据可以路由到其他关系中,例如需要将删除数据插入到另外的Hive表中,可以再设置个分支处理。登录mysql ,使用“mynifi”库,创建表“test2”
数据可视化:推荐6个数据可视化工具软件平台
国内外如此多的可视化工具,究竟哪一款才真正的适合你?想要从这其中挑选一款适合工作需求又好用的工具,就需要我们对可视化工具软件都有一个大概的了解。
一文带你快速初步了解云计算与大数据
一文带你快速初步了解云计算与大数据,这是一篇涨知识的文章
【大数据】【Spark】Spark运行架构
Spark 集群的独立部署环境中,不需要依赖其他的资源调度框架,自身就实现了资源调度的功能,所以环境中还有其他两个核心组件:Master 和 Worker,这里的 Master 是一个进程,主要负责资源的调度和分配,并进行集群的监控等职责,类似于 Yarn 环境中的 RM, 而Worker 呢,也是
Java EasyExcel带格式多线程导出百万数据
Java结合Alibaba EasyExcel,通过多线程加redis缓存的方式,将明细表数据带有数据格式(字体格式,表头冻结,单元格合并等格式),导出百万数据量,响应时间30s左右。
【SQL开发实战技巧】系列(二):简单单表查询
本篇文章介绍一些SQL开发基础的内容,讲解的主要内容是:***NULL空值的运算、coalesce比nvl的优势、拼接列实现批量脚本、如何通过rownum限制返回的行数以及如何正确的使用rownum从表中随机返回 n 条记录。***
Hadoop常见端口号及配置文件
Hadoop常用端口及配置文件
毕业设计-基于大数据的电影爬取与可视化分析系统-python
毕业设计-基于大数据的电影爬取与可视化分析系统-python:随着信息技术的发展,爬取和可视化分析系统作为一种重要的数据获取和分析方法,已经得到了广泛的应用。大数据技术为爬取和可视化分析系统提供了可靠的技术支持,使之能够更好地收集和分析大量复杂的数据。电影爬取与可视化分析系统是基于大数据技术的一种新
新一代开源数据可视化平台 datart——技术架构与应用场景
随着实时报表、BI、实时大屏、仪表板、甚至数字孪生等交互式数据可视化类产品应用越来越广,数据可视化领域备受关注
一文学透MySQL表的创建和约束
上篇博客分享了MySQL的下载和环境变量的配置,并简单了创建了数据库和表。这篇博客将分享数据库的创建和销毁语法以及详细讲解MySQL表的创建代码和约束的使用,争取一文拿捏这些知识点!希望此篇博文能够帮到大家,让我们共同进步!!!............
大数据书单(100本)
大数据书单(100本)
初识Hadoop,走进大数据世界
在古时候,人们用牛来拉重物,当一头牛拉不动一根圆木时,人们从来没有考虑过要想方设法培育出一种更强壮的牛。同理,我们也不该想方设法打造什么超级计算机,而应该千方百计综合利用更多计算机来解决问题。
2023华数杯思路+源代码(本文持续跟进解题思路分享)
2023年“华数杯”国际大学生数学建模竞赛(以下简称“竞赛”)是中国未来研究会大数据与数学模型专业委员会、 天津市未来与预测科学研究会主办的大学生学科类竞赛,竞赛由华数杯竞赛组委会负责组织,旨在提高学生运用数学解决实际问题的能力以及英文科技论文的写作能力,同时可以快速提高美国MCM/ICM竞赛参赛水