网约车大数据综合项目——数据分析Spark

【代码】网约车大数据综合项目——数据分析Spark。

『RabbitMQ』入门指南(安装,配置,应用)

RabbitMQ是在AMQP(Advanced Message Queuing Protocol) 协议标准基础上完整的,可复用的企业消息系统。它遵循 Mozilla Public License 开源协议,采用 Erlang 实现的工业级的消息队列(MQ)服务器,建立在 Erlang OTP 平台

大数据Flink(一百零三):SQL 表值聚合函数(Table Aggregate Function)

Python UDTAF,即 Python TableAggregateFunction。Python UDTAF 用来针对一组数据进行聚合运算,比如同一个 window 下的多条数据、或者同一个 key 下的多条数据等,与 Python UDAF 不同的是,针对同一组输入数据,Python UDT

hadoop搭建、mysql、hive部署

大数据基础项目,基于hadoop、mysql、hive实现数据分析

Spark Streaming 调优技巧分享

作者:禅与计算机程序设计艺术 1.简介概述Apache Spark Streaming 是 Apache Spark 提供的一套实时流处理框架,通过高效、可靠地快速计算大数据量上的数据变化并生成结果,能够满足大多数应用场景的需求。Spark Streaming

iceberg学习笔记(2)—— 与Hive集成

本文介绍了iceberg框架如何与hive进行集成

【Hive进阶】-- 导出 hive 表数据的几种方式

在日常的工作中,常常会有导出 hive 表数据的需求。在此,我整理了如下几种方式,供大家参考。然后使用 hdfs 命令下载。

手写消息队列(基于RabbitMQ)

在实际的后端开发中,特别是分布式系统里,跨主机使用生产者消费者模型是非常普遍的需求。因此通常会把阻塞队列单独分离出来,赋予更加丰富的功能,封装成一个独立的服务器程序,这个程序就称为 消息队列。

Kafka 01——Kafka的安装及简单入门使用

Kafka 01——Kafka的安装及简单入门使用

微服务框架SpringcloudAlibaba+Nacos集成RabbitMQ

目前公司使用jeepluscloud版本,这个版本没有集成消息队列,这里记录一下,集成的过程;这个框架跟ruoyi的那个微服务版本结构一模一样,所以也可以快速上手。

centos7.6安装rabbitMq3.11.10和erlang25

解压后,上传到目录/usr/lib/rabbitmq/lib/rabbitmq_server-3.11.10/plugins。此时根据信息,打开/usr/lib/rabbitmq/bin/rabbitmq-server:(根据个人实际情况)应是rabbitqmq找不到erlang的安装环境,导致启动

udp如何传输大数据附udp高速传输技术解决方案

UDP(用户数据报协议)是网络上最常用的数据传输方式之一。通常在讨论中会将UDP与另一种常用的通信协议TCP一起考虑。UDP和TCP各有优势和劣势,根据不同情况选择合适的协议以最大限度地发挥其优点并减少其缺点。

搭建hadoop初次格式化 格式化了很多次报错解决方案(亲测好用)

那我们在格式化时,不小心格式化多次,就会导致主从节点之间互相不识别。然后导致启动hadoop集群时,主节点的namenode进程可能不会启动或者从节点的datanode可能不会启动。在搭建完hadoop集群时,初次启动HDFS集群,需要对主节点进行格式化操作,其本质是清理和做一些准备工作,因为此时的

rabbitmq命令使用

rabbitmq命令使用

大数据毕设 大数据招聘岗位数据分析与可视化 - 爬虫 python 大屏可视化

该项目一共分为三个子任务完成,数据采集—数据预处理—数据分析/可视化。项目流程图项目架构图Flask是一个基于Werkzeug和Jinja2的轻量级Web应用程序框架。与其他同类型框架相比,Flask的灵活性、轻便性和安全性更高,而且容易上手,它可以与MVC模式很好地结合进行开发。Flask也有强大

zookeeper mac安装

这边工作中用到了zookeeper组件,但自己独立安装弄的不太多,这边本机mac装一个做测试使用以下是安装记录,可以作为参考从以下链接zookeeper版本列表,可以选择自己要用的版本。

设置RabbitMQ超时时间

RabbitMQ默认的超时时间是30分钟,在消息消费超过30分钟后,rabbitMQ会发生错误,导致整个channel被销毁,无法继续消费。值得注意的是,这个事临时更改,永久更改需要进入rabbit.conf文件里修改。在RabbitMQ安装的终端执行。命令,将超时时间延长。可以查看设置的超时值。

Spark 9:Spark 新特性

由于缺乏或者不准确的数据统计信息(元数据)和对成本的错误估算(执行计划调度)导致生成的初始执行计划不理想,在Spark3.x版本提供Adaptive Query Execution自适应查询技术,通过在”运行时”对查询执行计划进行优化, 允许Planner在运行时执行可选计划,这些可选计划将会基于运

InVEST模型| 软件安装与固碳模块的使用

InVEST模型(Integrated Valuation of Ecosystem Services and Tradeoffs)即生态系统服务评估与权衡模型,可于评估生态系统服务功能量及其经济价值、支持生态系统管理和决策的一套模型系统,包括陆地、淡 水和海洋三类生态系统服务评估模型。

Dubbo引入Zookeeper等注册中心简介以及DubboAdmin简要介绍,为后续详解Dubbo各种注册中心做铺垫!

本文是Dubbo从入门到上天系列文章中第十八篇,在本篇文章中我详细介绍了Dubbo引入注册中心的意义、作用、好处为后续详细介绍Dubbo适配各类注册中心打下基础!并且对DubboAdmin进行了简要的介绍,后边我们会有更加详细的介绍!

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈