Hive架构简述及工作原理
Hive是基于Hadoop的一个数据仓库管理工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL(HQL)查询功能。本质是将SQL转换为MapReduce程序(默认)。直接使用Hadoop MapReduce处理数据所面临的问题: 学习成本高,MapReduce实现复杂查询功能开发难度大,
HDFS架构概述
HDFS架构概述
【架构师】零基础到精通——网关策略
跟博主一起学习技术相关的 幂等、限流、降级、断路器、事务、缓存、分库分表 等总结!
Android MVVM详解
一、MVVM是什么?(1).Model:数据层,包含数据实体和对数据实体的操作(2).View:界面层,对应于Activity,XML,View,负责数据显示以及用户交互。(3).ViewModel:关联层,将Model和View进行绑定,Model或者View更改时,实时刷新对方。
RK3568开发笔记-EDP显示屏接口调试记录
RK3568CPU提供了丰富的外设接口,本文主要介绍通过edp显示接口驱动edp接口显示屏的具体操作方法以及调试记录。随着显示分辨率的越来越高,传统的VGA、DVI等接口逐渐不能满足人们的视觉需求。随后就产生了以HDMI、DisplayPort为代表的新型数字接口,外部接口方面HDMI占据了较大市场
系统架构:经典三层架构
经典三层架构是分层架构中最原始最典型的分层模式,其他分层架构都是其变种或扩展,例如阿里的四层架构模式和DDD领域驱动模型。阿里的 四层架构模型在三层基础上增加了 Manager 层,从而形成变种四层模型;DDD架构则在顶层用户界面层与业务逻辑层之间引入应用层,从而形成变种DDD领域驱动模型;掌握经典
Android 架构思想与 MVVM 框架封装
关于Android项目架构也是一个老生常谈的话题了,网上关于Android架构的文章不胜枚举,但是通过Google检索关键字,首页的热门文章多数是对于MVC、MVP及MVVM等架构的概念介绍,概念性的文章对于不了解Android架构的同学来说并不一定能起到很好的帮助。本篇文章其实源自笔者在公司内部的
【Python开发】Flask项目的组织架构
在大型Flask项目中,主要有三种常见的项目组织架构:功能式架构(也就是 Bluelog 程序使用的架构)、分区式架构和混合式架构。我们将以一个示例程序 myapp 作为示例来介绍这三种架构的特点和区别,这个程序按照功能主要分为三部分:前台页面 front、认证 auth、后台管理 dashboar
数据仓库原理 - 概念、架构、建模方法
数据仓库原理 - 概念、架构、建模方法
Windows x86 环境 虚拟机 安装银河麒麟V10 arm架构系统
Windows x86 环境 安装银河麒麟V10 arm架构系统(适用于单片机等)菜鸟整理,欢迎交流
接口自动化测试体系架构
自动化不是特指某一个技术,指能够提高工作效率技术应用【不局限于工具、代码、硬件】接口测试流程:分析需求--接口文档--设计接口测试用例【评审】--执行用例--整理测试报告--测试总结、测试报告发送
ES节点角色深层解读,及高可用集群架构角色设计
角色是ES节点的重要属性,属于Elasticsearch的重要基础概念。在高可用系统架构中,节点角色发挥着至关重要的作用。如果前期没有对业务系统和技术架构做足准备,没有充分考虑后期的扩展问题,势必会为将来的性能优化留下潜在问题。
微信小程序的底层架构原理,及如何做性能优化
小程序的渲染层和逻辑层分别由2个线程管理:(1)视图层:界面渲染相关的任务全都在 WebView 线程里执行。一个小程序存在多个界面,所以渲染层存在多个 WebView 线程。(2)逻辑层:采用 JsCore 线程运行JS脚本。视图层和逻辑层通过系统层的 WeixinJsBridage 进行通信:逻
Helm介绍(基本使用、架构简介、Hook机制)
Helm 是 Kubernetes 的包管理器。包管理器类似于我们在 Ubuntu 中使用的apt、Centos中使用的yum 或者Python中的 pip 一样,能快速查找、下载和安装软件包。Helm 由客户端组件 helm 和服务端组件 Tiller 组成, 能够将一组K8S资源打包统一管理,
大数据-数据底座架构/数据中台建设
在信息化向数字化转型的过程中,企业积累了海量的数据,并且还在爆发式的增长。数据很多,但是真正能产生价值的数据却很少。数据普遍存在分散,不拉通对齐等问题,缺乏统一的定义及架构,找到想要的,能用的数据越来越难。如何实现数据的汇聚和联接,打破数据孤岛与垄断,就显得格外重要。...............
Kafka架构篇 - 多副本机制
本文解析Kafka的多副本机制。
【kafka异常】使用Spring-kafka遇到的坑
查看一下压缩策略bin/kafka-topics.sh --describe --zookeeper xxxx:2181 --topic SHI_TOPIC1Topic:SHI_TOPIC1 PartitionCount:1 ReplicationFactor:1 Configs:cleanup.p
大数据项目之电商数仓DataX、DataX简介、DataX支持的数据源、DataX架构原理、DataX部署
DataX 是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。DataX设计理念、DataX框架设计、DataX运行流程、DataX调度决策思路、DataX
【架构师】零基础到精通——微服务体系
跟博主一起学习技术相关的 幂等、限流、降级、断路器、事务、缓存、分库分表 等总结!
LVS负载均衡与keepalived架构
④日志分隔:keepalived的默认日志在/var/log/message里,通过修改 /etc/sysconfig/keepalived中参数KEEPALIVED_OPTIONS="-D -S local数字" ,并利用rsyslog将日志分隔出来。②NFS业务服务器配置,创建共享文件夹 /sh