Spark计算框架
Spark的诞生背景Spark 2009年诞生的一个技术，诞生的主要原因是因为Hadoop大数据解决方案存在一些弊端MR程序是基于磁盘进行运算，因此导致MR程序计算效率底下。MR程序无法计算复杂的任务，如果想要实现复杂的计算逻辑，可能编写多个MR Job，其中后续的Job依赖于前一个Job的输出，但
阿里云实时数据仓库Hologres&Flink
为企业所有决策制定过程，提供所有系统数据支持的战略集合。传统的离线数仓无法实现当天数据的及时分析数据，所以需要开发实时数仓开填补空缺。
Spark读写Hive
使用Spark读写分布式数据仓库Hive
Kafka快速入门
简介kafka诞生于领英公司，于2011年初开源，并于2012年10月23日由apache孵化出站。kafka最初诞生是为了解决Linkedin数据管道问题。由java和scala编写的。是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者在网站中的所有动作流数据。官网：http://kafka.
大数据基础设施搭建 - 业务数据同步策略
套路：从body中拿出采集到的数据，解析出有用字段放入header中，配置文件中可以获取header中的东西。作用1：把从Kafka中获取的json串的业务表名放到header中。作用2：把从Kafka中获取的json串的ts时间戳转换成毫秒，放入header中。import com/**// 1、
Flume采集Kafka并把数据sink到OSS
我这里是为了防止sink的文件过于零碎, 但因为使用的memory channel, 缓存时间过长容易丢数据。默认启动时-Xmx20m, 过于小了, 加大堆内存可以直接放开。下载JindoSDK(连接OSS依赖), 下载地址。2. 进阶配置, 根据自己情况按需配置。3. Flume JVM参数。修改
在Docker中安装kafka遇到问题记录
这样，Kafka就会告知客户端通过连接到宿主机的IP地址的9092端口来访问Kafka，从而使Windows宿主机能够访问到Kafka服务。要使Windows宿主机能够访问到容器内的IP地址，可以尝试使用Docker的端口映射功能，将容器的端口映射到宿主机上的一个端口。如果在Windows的宿主机上
k8s部署kafka，并使用zookeeper做注册中心
kafka在3.x版本后增加KRaft作为自己的注册中心，可以不依赖外部的zk
虚拟机上搭建Hadoop运行环境
比如在上面这台虚拟机上面配置了上述主机名称和IP的映射，那么我要在这台主机访问另外几个IP，只需要访问他们的主机名即可。最大磁盘大小在条件允许的情况下建议是设置40G以上， 20G可能后续还需扩容，这里我们设置的50G.集群化软件之间需要通过端口互相通讯，为了避免出现网络不通的问题，我们可以简单的在
2023_Spark_实验二十九：Flume配置KafkaSink
flume1.9.0 配置source为exec读取shell脚本模拟产生的实时数据，配置Sink为kafkaSink，配置channel为memoryChannel
大数据编程实验：RDD编程
针对问题(6)，考虑使用嵌套形式的数据结构来存储，从该数据集中映射出课程名称和分数，对课程出现次数用字典进行统计：(课程名称, (分数, 1))使用reduceByKey方法将分数和方法加，得到新的数据：(课程名称,(总分数,总人数))于两个输入文件A和B，编写Spark独立应用程序，对两个文件进行
【rabbitMQ】rabbitMQ的下载，安装与配置
因为rabbitMQ是基于Erland,所以在安装rabbitMQ之前需要安装Erland。如果出现拒绝访问 http://localhost:15672。输入默认账号： guest 默认密码： guest。然后去服务器输入 http://localhost:15672。下载完
医院信息化-5 集成平台和数据中心
每个做集成平台和数据中心的厂商都有自身的优势，有的追求评级、有的追求低成本、有的追求技术。无论哪一种都会在其中找到生存需求。因此一个集成平台和数据中心如何做技术选型都是参照公司本身的优势和目标定制的，并无完美的答案，以上仅仅是个人在医疗行业的见闻，仅供参考，如有错误之处，望请慷慨指出。
某音上很火的圣诞树分享
前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。
el-table操作栏按钮过多 增加展开/收起功能
el-table表格操作栏按钮过多增加展开/收起功能
ios应用程序app用vue3打包有什么优势？有哪些好处？
Vue 3作为一种现代化的JavaScript框架，可以提供许多优势，如性能提升、更少的代码量、更好的开发体验、更强的组件化和更好的跨平台兼容性。通过使用Vue 3，代码量更少，逻辑更清晰，开发效率也更高。此外，Vue 3还引入了更好的调试工具，使得开发人员可以更快地诊断和修复问题，从而提高了开发效
C++进阶篇9---类型转换
C++类型转换
自动化运维工具-ansible部署
ansible是一个同时管理多个远程主机的软件。通过shh协议实现了，管理节点（老板，安装了ansible服务的机器），被管理节点（员工，被管理的机器节点）的通信。只要是通过ssh协议登录的主机，就可以完成ansible自动化部署操作批量文件分发批量数据复制批量数据修改，删除批量自动化安装软件服务批
我们一起做过的SPA——Nuxt.js介绍
SEO：搜索引擎优化（Search Engine Optimization）, 通过各种技术（手段）来确保，我们的Web内容被搜索引擎最大化收录，最大化提高权重，最终带来更多流量。非常明显，SPA程序不利于SEOSEO解决方案：提前将页面和数据进行整合前端：采用SSR后端：页面静态化 （freema
pycharm中如何去除波浪线的设置
pycharm中，碰到恼人的红绿波浪线，打开’file-settings’，然后，参照如图设置，去除’effects’选项：
