搭建Spark开发环境(第二弹)
😊😊😊欢迎来到本博客😊😊😊本篇介绍的是Spark环境的准备🛠🛠🛠预更新📑:体验第一个Spark程序一.环境准备二·.spark的部署方式三.spark集群安装部署一.环境准备配置环境:Hadoop、spark(本人是2.0.0)、JDK(1.8)、Linux(Centos6.7)
大数据ClickHouse(三):客户端命令行参数
使用-h指定ip或者host名称时,需要在/etc/clickhouse-server/config.xml配置文件中114行配置,代表可以任意ip可访问。我们可以通过clickhouseclient来连接启动的clickhouse服务,连接服务时,我们可以指定以下参数,这里指定的参数会覆盖默认值和
信贷风控指南丨人工智能专家直播解析信贷评分卡模型
《业务安全大讲堂》第三期直播重磅来袭~请锁定顶象CSDN直播间~
大数据ClickHouse(二):多种安装方式
https在官网中可以看到ClickHouse可以基于多种方式安装,rpm安装、tgz安装包安装、docker镜像安装、源码编译安装等。这里我们使用rpm安装包安装。如果服务器不支持SSE4.2指令集,则不能下载预编译安装包,需要通过源码编译特定版本进行安装。一、rpm安装包下载https这里需要在
Hadoop运行环境搭建(开发重点三)、在hadoop102安装JDK、配置JDK环境变量、测试JDK是否安装成功
为什么只在hadoop102上安装JDK,因为在hadoop102中安装后将JDK拷贝到hadoop103和hadoop104中,同样后面安装Hadoop的时候也是这样的操作、解压JDK到/opt/module目录下、配置好后需要source一下,重新加载一下内容、在Linux系统下的opt目录中查
【KafkaStream】微服务学习笔记十一:流式计算概述&KafkaStream入门
主要介绍流式计算的概念、应用场景以及如何利用Kafka Stream实现流式计算。
大数据技术训练舱:Redis的分布式实践(上)从零开始编译、安装、配置Redis6,规范化搭建Java工程测试
本章为上篇主要是从零开始配置一个Redis实例,然后编写一个开发规范化的Java工程,连接Redis进行测试。
CoCube群机器人预览→资讯剧透←
手部机器人专门在脚部机器人(地面)覆盖的区域和眼部机器人覆盖的区域之间的空间区域中移动和行动。机器人专家说,成群结队的机器人可能比单独的、独立的机器人更具适应性和智能。涌现行为是系统的行为,它不是其任何组件的属性,而是由于系统组件之间的相互作用而出现的。好吧,拥有如此多已证明的优势以及更多的优势,群
基于MySql,Redis,Mq,ES的高可用方案解析
本片文章主要是分析当下不同应用场景下的几个主流系统的高可用策略,来看一下如何来保障的系统的高可用常见的高可用思路冗余(如数据副本、主备服务等)拆分(数据拆分、服务能力拆分等)持久化redis持久化RDB数据落盘加载方式+AOF记录操作命令用于回放策略主从,主从从全量数据冗余、读写请求分离,负载均衡的
Hive中常用正则表达式的运用
Hive中常用正则表达式的运用
HIVE高级调优(四)
HIVE高级调优
hadoop3.1.3的集群搭建
windows系统确认所有的关于VmWare的服务都已经启动右键“我的电脑”->“管理”确认好VmWare生成的网关地址这里设置网关为192.168.121.2,子网ip192.168.121.0,子网掩码使用vim编辑器打开/etc/hostname文件删除文件中原有内容,添加内容主机名hadoo
kafka整合springboot以及核心参数的使用
kafka简单使用
搭建Spark开发环境
spark集群基础环境配置:export SCALA_HOME=/opt/module/scala-2.11.8export PATH=$PATH:$SCALA_HOME/bin环境配置:export SCALA_HOME=/opt/module/scala-2.11.8export PATH=$P
维度建模之事实表的设计经验分享
从数据仓库到数据中台,再到数据湖,最后到现在新提出的湖仓一体,存算分离。大数据的生态越来越丰富,新技术层出不穷。其中批处理这个分支,是指将各类数据归一到数据仓库,定时处理后给下游各种应用场景使用,而维度建模正适用于这种大数据量,复杂的场景,通过构建庞大的重型模型,提高复用率,这就是所谓的用空间换时间
rabbitMQ基本概念
rabbitmq基本概念
RabbitMQ 的安装和配置
rabbitmq安装和配置
基于Docker-compose构建Kafka集群
首先,先向大家道个歉。由于前段时间的工作调整,导致我一直没有进行更新。现在工作逐渐走上正轨,现在决定继续更新自己学习的内容。希望对于学习或者从事大数据开发的你提供一些帮助。本次更新的内容为如何使用Docker-compose技术进行Kafka集群的构建。...
Elasticsearch:通过 JDBC 使用 SQL 来查询索引 - DBeaver
Elasticsearch 的 SQL 访问层能够通过两种最常用的数据库管理系统 (DBMS) 协议提供数据访问,Java 数据库连接 (JDBC) 和开放数据库连接 (ODBC)。 这些驱动程序可以安装在客户端应用程序中,以便轻松地将 Elasticsearch 与最流行的工具集成,例如:DBea
Hadoop——Hadoop优势、组成、大数据技术生态体系、系统框架图
HadoopDistributedFileSystem,简称HDFS,是一个分布式文件系统。存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块所在的DataNode等。在本地文件系统存储文件块数据,以及块数据的校验和。每隔一段时间对NameNo