Flink概念及应用场景
flink应用场景及架构
Kafka
大数据面试- Kafka
Hive | 报错锦集
Hive使用过程中遇到的部分问题分享，快来看看吧！
Hive+Spark离线数仓工业项目--ODS层及DWD层构建（2）
Hive+Spark离线数仓工业项目--ODS层及DWD层构建
hadoop环境新手安装教程
这一步需要对hadoop下的 core-site.xml、hadoop-env.sh、hdfs-site.xml、mapred-site.xml、yarn-site.xml等文件进行配置。这里我用了3台虚拟机，1台改为master，另外2台分别改为node1和node2。（3）IP地址改写，这里需要
大学数据库创建与查询实战——数据库表设计
FOREIGN KEY外键（既可以定义列也可以定义表）CHECK约束用于限制列中的值的范围（既可以定义列也可以定义表）大学数据库的整体设计
hadoop-hdfs集群安全模式详解
安全模式相关命令查看安全模式 hdfs dfsadmin -safemode get进入安全模式状 hdfs dfsadmin -safemode enter离开安全模式 hdfs dfsadmin -safemode leave等待安全模式状态 hdfs dfsadmin -safemode
大数据Doris（三十九）：Spark Load 注意事项
3、使用Spark Load时spark_home_default_dir配置项没有指定spark客户端根目录,提交Spark job 时用到 spark-submit 命令，如果 spark_home_default_dir 设置错误，会报 Cannot run program "xxx/bin/
hadoop之ranger权限配置（二）
ranger权限配置
Spark RDD编程基本操作
Spark RDD编程基本操作
大数据调度平台oozie、azkaban、dolphinscheduler、AirFlow对比
海豚调度出来的有点迟，它把我们之前讲的 Oozie、Azkaban、airflow的优点全拿过来了，后发优势，集万千优点于一身，缺点也避免了。过载处理：airflow 任务过多时卡死服务器，DolphinScheduler任务队列机制，当任务过多时会缓存在任务队列中。Azkaban:最适合shell
SparkML机器学习实战：应用回归算法，预测二手房价格
受某房产中介委托，需开发一套机器学习系统，当用户将要售卖的二手房挂到二手房网站上时，该机器学习系统能自动根据该二手房的相关信息给出合理的销售价格预测，以指导客户报价。本案例所使用的数据集为纯文本文件，说明如下： 数据集路径：/data/dataset/ml/house/train.csv1、启动H
Quartz、xxl-job、Elastic-Job和Saturn简单对比
Quartz是满足复杂调度需求的好选择，而xxl-job和Elastic-Job则更适合分布式调度和动态扩展。优点： Saturn是一个建立在Elastic-Job之上的作业调度框架，旨在简化分布式作业的调度和管理。优势： Elastic-Job是一个强大而灵活的作业调度框架，支持分布式调度、动态扩
大数据开发之Hive案例篇10-大表笛卡尔积优化
我们需要求每一个start_date的累积数量，那么此时我们可以先求每天的，然后求每天累积的，再求当天每一个start_date累积的，加上前一日的累积的，就是最终我们需要的数据。就算数据量提升数倍，因为 join的条件由一个 data_source 变为了两个 data_souce 、dt，大大减
hadoop高可用【HA】配置详解
想实现 Hadoop 高可用就必须实现 NameNode 的高可用，NameNode 是HDFS的核心，HDFS 又是 Hadoop 核心组件，NameNode 在 Hadoop 集群中至关重要；NameNode 宕机，将导致集群不可用，如果NameNode数据丢失将导致整个集群的数据丢失，而 Na
kettle桌面版和docker版的安装
一键连接kettle各个环境版本的安装
基于hadoop大数据的音乐推荐系统
基于hadoop大数据的音乐推荐系统
SAP 发出商品业务配置
（在正常业务中，即出库时计算成本，VAX和VAY借贷方的科目相同，为“主营业务成本”，这样在产生会计凭证时，借：主营业务成本，贷：库存商品）帐码：即我们定义的Z01，ERL是收入，ERB为销售扣减，ERB分配给的是返利的条件类型，主要是为了财务统计方便。该业务在系统内的实现方式，为保证成本与收入的配
PCBA电路板中电容MLCC失效分析-应力测试作业指导
PCBA电路板中电容MLCC失效分析,制造终端工厂在选择PCBA代工代料过程中，又面临难以确认物料的真实性、PCB采购周期不稳定、电子元器件失效、维修困难、资金风险等难题，IC类和陶瓷电容（MLCC）类失效是目前PCBA制程中导致PCBA失效的几个重要原因。...
iceberg的java api使用
【前言】了解一个组件的最好方式是先使用该组件，今天我们就来聊聊如何通过java api对iceberg进行操作。为什么是选择api进行介绍，而不是更通用的flink、spark、hive等。一方面是觉得flink、spark使用iceberg的介绍网上已经有很多，官网的介绍也比较清晰，而java a
