详解Spark运行模式（local+standalone+yarn）
Spark 有多种运行模式：1.可以运行在一台机器上，称为 Local（本地）运行模式。2.可以使用 Spark 自带的资源调度系统，称为 Standalone 模式。3.可以使用 Yarn、Mesos、Kubernetes 作为底层资源调度系统，称为 Spark On Yarn、Spark On
大数据集群源数据同步之MySql2HIVE增量同步
纯干货，使用canal+kafka+camus一步一步完成MySQL到hive增量更新的全部详细过程
中国数据标注公司排名前十强有哪些？
随着人工智能在各行业快速落地，带动了数据标注行业飞速发展。数据标注公司是协助人工智能企业解决整个人工智能链条中数据标注环节的相对应问题，标注业务版块主要可以分为图像标注、语音标注、文本标注、3D点云标注四大类，涵盖计算机视觉、语音工程、自然语言处理等AI应用领域。今天给大家介绍十家国内知名的数据标注
SpringBoot 集成 Kafka
SpringBoot 集成 Kafka
关于Hive中的存储格式及压缩格式详解
最近面试，遇到了关于Hive的数据存储格式的问题，回答不尽人意，抽时间总结多看看关于Hive存储格式和压缩格式的内容。TEXTFILE 是 Hive 默认文件存储方式，存储方式为行存储，数据不做压缩，磁盘开销大，数据解析开销大，数据不支持分片，数据加载导入方式可以通过LOAD和INSERT两种方式加
1月25日,30秒知全网,精选7个热点
华尔街预计，整个2023年该公司的收入将下降，因为该公司的客户将重点放在减少旧芯片库存上，而不是订购新芯片。该供应商仅仅是为模具打样的供应商，泄密的文件是非常早期的招标过程的设计稿，并非最终文件。此举将增强苹果在东南亚市场的影响力，该公司已经在泰国和新加坡开设了门店，最近还开始为其在印度的第一家门店
云计算|OpenStack|错误记录和解决方案（不定时更新）
openstack的部署和使用是难度比较大的，难免会出现各种各样的问题，因此，本文将把一些在部署和使用openstack社区版时出现的错误做一个记录，并就每一个错误分析和解决问题。（尽量记录比较经典的错误，太弱智的那些就不记录了）
Spark与hdfs delegation token过期的排查思路总结
hadoop delegation token的问题相对比较混乱和复杂，简单说下这东西的出现背景，最早的hadoop的因没有的完善的安全机制（安全机制主要包括：认证 + 鉴权，hadoop这里主要是身份认证机制没有），所以导致操作风险比较大，你可以理解只要获取了一台装有hadoop client的机
2023年国产CRM客户管理系统软件排名
以CNPP发布的CRM排名为主，并参考IDC报告、知乎回答、Gartner报告、百度指数以及Appstore下载量等数据，为大家盘点十大国产CRM客户管理系统，并对品牌进行了分析。在文章的最后介绍了CRM系统有哪些功能模块，解释了CRM系统功能的用途和意义，为您选型提供参考，希望能够对大家有所帮助。
docker部署ES及kibana整个流程
docker部署ES及kibana整个流程
Spark系列—Spark SQL执行过程解析
spark-sql
Hive 删除一个字段
如何删除hive表中的一个字段？
Hadoop官网翻译 (HDFS命令)
hadoop官网翻译hdfs-3
StreamSets3.14.0安装部署，以及mysql增量采集到hive实战测试
Streamsets mysql增量hive
Ubuntu中下载Anaconda以及改变python版本
python版本过低会导致pyspark无法运行喔，所以我们需要提升python版本
基于YOLOv5和U-NET的火灾检测与分割
1.文章信息本次介绍的文章是发表在EUSIPCO 2021的一篇基于计算机视觉的火灾检测文章。2.摘要当今世界面临的环境危机是对人类的真正挑战。对人类和自然的一个显著危害是森林火灾的数量不断增加。由于传感器和技术以及计算机视觉算法的快速发展，提出了新的火灾探测方法。然而，这些方法面临着一些需要精确解
在Java中发送kafka消息
文章目录一、kafka API简介二、引入kafka java客户端依赖三、发送消息一、kafka API简介kafka包含5个核心api：Producer API用来让应用程序发送流数据到kafka集群中的主题。Consumer API用来让应用程序读取kafka集群主题中的流数据。Streams
KNN分类器
何谓K近邻算法，即K-NearestNeighboralgorithm,简称KNN算法，单从名字来猜想，可以简单粗暴的认为是：分析一个人时，我们不妨观察和他最亲密的几个人。同理的，在判定一个未知事物时，可以观察离它最近的几个样本，这就是KNN（k最近邻）的方法。简单来说，KNN可以看成:有那么一堆你
【大数据 & AI 人工智能】源动力：改变未来世界的5大核心力量
这种力量会驱使我们开发出远超人类能力的新型超级智能体，而这也將促使拥有意识的机器出现在这个世界上，它们会管理我们的经济，充当我们的伙伴，并且与我们的意识相融合。这种力量会推动人类将机器和大脑一起接入相互连接的智能数宇网络，而这世将从根本上改变我们的生活和工作方式，并且特物质世界和虛拟世界融合成一种全
Pyecharts可视化全国新冠疫情
近几年来，我国一直受着新冠疫情的侵扰，随着每天新冠信息的日夜更迭，我们该如何从新闻中挖掘到有效信息呢？所以大体有2部分，第一是进行数据采集 ，第二是进行数据分析和数据可视化。新冠疫情的数据采集部分已经发了，大家如果不知道，可以点击这个链接，本篇讲述的是如何对新冠疫情数据进行数据分析和数据可视化。
