金融风控实战——Hive详解（数据读取、预处理、特征工程）
大数据技术介绍大数据技术的介绍： 1、存储，我们需要了解在大数据的架构下，数据大致是怎么进行存储的，传统的文件系统是单机的，不能横跨不同的机器。HDFS（Hadoop Distributed FileSystem）的设计本质上是为了大量的数据能横跨成百上千台机器，但是用户在实际的应用中，看到的是一
大数据看惊天逆转+绝杀，亚洲杯时隔16年夺冠，恭喜女足
这个逆转真的是看得人热泪盈眶，女足姑娘们诠释了真正的足球精神！中国精神！全力以赴，一以贯之！铿锵玫瑰！
hadoop 使用 kerberos 认证后，hadoop fs -ls 命令、hdfs dfs -ls 无法使用
解决启用 kerberos 认证的 hdfs 集群 遇到的无法使用hadoop、hdfs命令的问题
Hadoop生态圈（二十一）- MapReduce编程基础
MapReduce Partition分区，MapReduce Combiner规约，MapReduce自定义对象序列化，MapReduce自定义排序，MapReduce自定义分区，MapReduce自定义分组，自定义分组扩展：topN问题，默认情况下MR输出文件个数，数据分区概念，默认分区规则，P
SpringBoot整合Elasticsearch之索引，映射，文档，搜索的基本操作案例分析
索引，映射，文档，DSL增删改查一）环境准备1. ES版本：7.12.12. SpringBoot版本：2.5.8二）ES的基本介绍1. Elasticsearch 是什么2. Eelasticsearch的作用3. Elasticsearch，Solr和Lucene三者之间的关系4. Elasti
Hadoop入门（一）
Hadoop是一个有Apache基金会所开发的分布式系统基础架构主要解决海量数据的存储和海量数据的分析计算问题
【大数据】Hive可视化工具dbeaver
Hive可视化工具dbeaver1、dbeaver基本介绍dbeaver是一个图形化的界面工具，专门用于与各种数据库的集成，通过dbeaver我们可以与各种数据库进行集成通过图形化界面的方式来操作我们的数据库与数据库表，类似于我们的sqlyog或者navicat。2、下载dbeaver我们可以直接从
DataX 简介及架构原理
DataX 简介及架构原理概述DataX是阿里巴巴使用 Java 和 Python 开发的一个异构数据源离线同步工具异构数据源：不同存储结构的数据源致力于实现包括关系型数据库 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(
深入浅出Apache DolphinScheduler
Apache DolphinScheduler 是一个大数据调度任务框架。从当前的CSDN GitCode热度来看，在二月份排名第6位。那是相当的热门。Apache DolphinScheduler 是Apache旗下的开源项目，目前已经被Fork了2700次，Star了7.3k；这还是相当厉害了！
RocketMQ源码解析-Broker部分之Broker启动过程
启动入口BrokerStartup
三天学会网络爬虫之Day03
三天学会网络爬虫之Day03第一章 课程计划第二章 案例扩展2.1.定时任务。2.1.1.Cron表达式2.1.2.Cron测试2.2.网页去重2.2.1.去重方案介绍2.2.2. SimHash2.2.2.1.流程介绍2.2.2.2.签名距离计算2.2.2.3.导入simhash 工程2.3.代理
【大数据】OLAP架构及技术实现的演进简介
文章目录一、架构分类二、技术演进1、传统关系型数据库时期2、大数据技术时期一、架构分类OLAP名为联机分析，又称多维分析，什么是多维分析，指的是多种不同的维度审视数据，进行深层次分析。进行分析必不可少对数据进行下钻、上卷、切片、切块、旋转等操作，为了更加直观，我们可以使用立方体来表示。下钻：从高层次
2022虎年的期望和新年Flag
虎年到！10位科学家立下新年Flag，我们共同见证应《中国科学报》之邀，回答了两个问题：对2022有什么样的工作和生活上的期待？请立3个具体的新年Flag。以下为我的回复：1、对2022年的期待近年来，以RISC-V为代表的开源芯片生态呈现加速发展的趋势，但仍缺乏里程碑式的突破性进展。相比而言，20
Spring+Redis+RabbitMQ限流和秒杀项目的开发
本文将围绕高并发场景中的限流和秒杀需求综合演示Spring Boot整合JPA、Redis缓存和RabbitMQ消息队列的做法。本项目将通过整合Springboot和Redis以及Lua脚本来实现限流和秒杀的效果，将通过RabbitMQ消息队列来实现异步保存秒杀结果的效果。一、项目概述本项目将要实现
基于Floyd算法的校园导航系统（Python版）
基于Floyd算法的校园导航系统
一天学完spark的Scala基础语法教程十二、异常处理(idea版本)
????前言????????博客主页：红目香薰_CSDN博客-大数据,计算机理论,MySQL领域博主????✍本文由在下【红目香薰】原创，首发于CSDN✍????2022年最大愿望：【服务百万技术人次】????????初始环境地址：【spark环境搭建(idea版本)_红目香薰-CSDN博客】???
消息队列：RabbitMQ安装和快速入门
文章目录一、消息队列1.1 作用1.2 主流消息队列比较二、RabbitMQ的安装2.1 安装2.1.1 Docker 方式2.1.2 原生方式（Ubuntu 20.04）2.2 管理插件的用法三、RabbitMQ快速入门3.1 名词介绍3.2 Hello World！3.3 任务队列（work q
【 RocketMQ 专栏】基于 Linux 环境安装部署 RocketMQ 教程(一步一步跟着安装就对了)
这里是 RocketMQ 系列的第一篇文章，工欲善其事，必先利其器，先不讲理论，也不具体介绍 RocketMQ,我们先把 RocketMQ先安装上，让你们实地感受下 RocketMQ 整个安装流程，安装完后我们再后续文章对 RocketMQ 手术刀式一层一层进行剖析。下载安装包直接从 RocketM
Linux中安装部署Elasticsearch
Elasticsearch (ES)是一个基于Lucene构建的开源、分布式、RESTful 接口全文搜索引擎,本文介绍在Linux中安装部署Elasticsearch.
Maven是什么
Maven是专门用于管理和构建java项目的工具主要功能：提供一套标准化的项目结构 提供了一套标准化的构建流程（编译，测试，打包，发布......） 提供了一套依赖管理机制依赖管理：依赖管理就是管理项目所依赖的第三方资源（jar包、插件...）一般的 下载jar包 复制jar包到项目 将jar包加入
