离线安装CDH 6.3.2大数据平台(基于CentOS 7.9操作系统)
记录:303场景:在CentOS 7.9操作系统上,离线安装CM6.3.1和CDH6.3.2大数据平台。主要内容:配置集群基础环境、安装MySQL数据库、配置本地yum源、配置NTP校时、安装CM和CDH基础依赖包、安装CM和CDH。
成为AI架构师的三大能力
AI架构师应该具备把AI技术高效落地业务应用的能力,具体而言,对应三个基本能力:第一,AI架构师要对AI技术和开发应用流程有整体掌握能力第二,AI架构师要对上层 业务有充分的理解,有很好的技术抽象能力和技术判 断力第三,AI架构师要能设计并实现高效合理的AI落地方案
springalibaba的各种组件应用
各种组件的应用
Matlab实现Kmeans算法(每行代码标注详细注解)
本文主要为了完成平日作业,并进一步加深对算法的理解。也希望对来访的读者有所帮助。目录一、什么是Kmeans算法二、Kmeans算法的意义三、Kmeans算法代码解析1.关键概念2.大致思路3.对照每行代码的详细注解四、总结总结一、什么是Kmeans算法二、Kmeans算法的意义三、Kmeans算法代
【云启实验室】《搭建Hadoop环境》-Hadoop-2.10.1伪分布式
资源创建过程需要1~3分钟。1. 点击右侧 切换至Web Terminal,执行以下命令,下载JDK1.8安装包。4. 执行以下命令,修改配置文件yarn-env.sh和hadoop-env.sh。2. 执行以下命令,解压Hadoop安装包至/opt/hadoop。3. 启动成功后,执行以下命令,查
DolphinScheduler3.0正式版本安装教程
1 启动 Standalone Server 服务: bash ./bin/dolphinscheduler-daemon.sh start standalone-server 2 停止 Standalone Server 服务 : bash ./bin/dolphinscheduler-dae
es,初始化密码
es,初始化密码
Python计算有向图中所有节点出度和入度
封面图片:《Python程序设计基础(第2版)》,ISBN:9787302490562,董付国,清华大学出版社图书详情:配套资源:用书教师可以免费获取教学大纲、教案、课件、源码、习题答案、...
3. 大数据存储与管理
北理工大数据技术导论学习笔记
普通Java工程师 VS 优秀架构师
只懂技术还远远不够,懂技术/懂业务/懂管理的综合型人才,才是技术团队中的绝对核心。工作3年之后,同行之间的薪资差距越来越大,差距背后对应的是综合能力的差异。不仅仅是架构师,所有的技术高端岗位,对人才的综合能力都有较高的标准。深厚的技术功底与大局观,始终保持对先进技术的敏感。具备根据业务特点,找到架构
kafka 的使用原理及通过spring-kafka 自定义封装包的原理
1).点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除) 点对点模型通常是一个基于拉取或者轮询的消息传送模型,这种模型从队列中请求信息, 而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理,即使有多个消息监听者也是如此。2).发布/订阅模式(一对多,数
SQL 时间范围和时间粒度
大多数情况下,我们需要根据计算时间和时间范围,计算出业务数据的开始时间和结束时间,用于过滤业务数据;然后再根据业务数据的业务时间和时间粒度,计算出业务时间点,用于分组统计业务数据。
卷积神经网络——inception网络及python实现
Inception网络结构及python实现
HBase---HBase基础语法
HBase基础语法
VMware vSphere 8.0 正式版下载
vSphere 8.0 在发布数周后,终于可以下载正式版了,了解新增功能请访问:https://sysin.org/blog/vmware-vsphere-8-whats-new/
智慧农业大数据平台:农业中的“大智慧”
智慧农业大数据平台:农业中的“大智慧”
数据同步工具—Sqoop
Sqoop 作为一个数据同步工具,主要用于关系型数据库和Hadoop的数据相互同步。table 模式query 模式job 主要解决了增量同步的元数据(last-value)维护问题,当然本身也可以用来做非增量的同步,ETL 中更常用的增量模式是通过query 来完成的,这是因为query 模式更加
【了解Jira Issue types】
介绍Jira中的5中issue types
分布式一致性算法——Paxos 和 Raft 算法
本文主要围绕Paxos算法和Raft算法进行了讨论。我们首先介绍了分布式一致性算法的概念和必要性,然后分别从算法基本原理、角色和状态、基本流程、选举过程、优缺点等方面详细介绍了Paxos算法和Raft算法。同时,我们也对这两种算法进行了比较和区分,并讨论了如何选择合适的算法以满足不同场景下的需求和限
全世界游客访问最多的城市,重庆以5.9亿游客量排名第一
从全球旅游总收入相当于GDP的比例来看,2020年之前,全球旅游总收入相当于GDP的比例接近7%,2020年降至3.7%,2021年达到3.8%,与疫情前的2019年占比6.9%相比,下降了3.1个百分点。还有武汉、西安、成都、天津、广州、贵阳、杭州、昆明等国内城市,以及巴黎、纽约、东京等海外城市。