Python项目(Django):国内新冠肺炎疫情大数据可视化平台
首先通过python编写的SaveMysqlData.py脚本将关于新冠肺炎疫情的数据从腾讯新闻或者百度新闻的实时疫情动态中直接爬取下来存储入MySQL数据库中,然后运行Django项目进入到登录界面,输入正确的登录账号和密码过后通过Echarts进行绘制图表来进行大屏显示。......
直播弹幕系统(二)- 整合RabbitMQ进行消息广播和异步处理
上一篇文章 SpringCloud网关对WebSocket链接进行负载均衡 中把主要的架子搭建好了,这一篇文章就要开始写业务逻辑了。在分布式系统下,如何达到SpringBoot - WebSocket的使用和聊天室练习的效果。我们页面上,通过发送弹幕信息的时候,后端通过注解修饰的函数进行接收。这里我
hadoop:未找到命令----解决办法
昨天安装hadoop后,今天想进行一些简单的练习,但是出现问题。到这里没有启动JobTracker和TaskTracker。通过shell命令export修改Linux环境变量。分析原因:环境变量中,没有写入hadoop的路径。提示错误 hadoop:未找到命令。但是会给出警告,不过目前不影响。ha
Docker Hub的使用以及配置阿里云镜像加速
Docker Hub的使用以及配置阿里云镜像加速
数据资产管理实践白皮书(6.0版)解读
数据资产管理实践白皮书(6.0版)解读。白皮书6.0总结了数据资产管理活动职能的核心理念与实践要点,提出了战略规划、组织架构、制度体系、平台工具、长效机构五大数据资产管理保证措施,提倡企业体系化的开展数据资产管理工作,提升数据资源化效率,创新数据资产化模式,引导企业充分融入数据要素市场发展,加速数据
elasticsearch
所谓搜索引擎,就是根据用户需求与一定算法,运用特定策略从互联网检索出指定信息反馈给用户的一门检索技术。搜索引擎依托于多种技术,如网络爬虫技术、检索排序技术、网页处理技术、大数据处理技术、自然语言处理技术等,为信息检索用户提供快速、高相关性的信息服务。搜索引擎技术的核心模块一般包括爬虫、索引、检索和排
kafka消费者组
消费者组是kafka提供的可扩展且具有容错性的消费者机制。既然是一个组,那么组内必然可以有多个消费者或消费者实例,它们共享一个公共的ID,即group ID。
dubbo:两种方式安装dubbo-admin、zookeeper
我们在搭建dubbo框架时,需要安装一个dubbo-admin来管理服务已经配置文件,今天我们来看看如何通过docker快速搭建一个dobbo-admin。
【Kubernetes】StatefulSet对象详解
在 Kubernetes 中运行应用程序的常见方法是创建部署对象(Deployment),它管理一个或多个 Pod 实例的副本集。但是,某些应用程序需要保留唯一标识符和网络标识符,比如数据库应用程序。这时候就需要用到 StatefulSet 对象。StatefulSet 是 Kubernetes 的
RabbitMQ-消息的可靠性投递
消息的可靠性投递,通过confirm机制、return机制、ack机制保证消息能从生产者顺利到达消费者。
dbever连接kerberos认证的hive
dbever连接kerberos认知的hive
CISP信息安全认证考试都考什么?
CISP知识体系大纲明确了CISP考试范围。在整个CISP的知识体系结构中,共包括信息安全保障、信息安全技术、信息安全管理、信息安全工程和信息安全标准法规这五个知识类。根据实际工作,将信息安全从业人员所需掌握的知识构建成若干知识域,每个知识域包含多个知识子域,每个知识子域中包含需要掌握的知识点。
ClickHouse副本表ReplicatedMergeTree实操
ClickHouse副本表ReplicatedMergeTree实操
机器学习——无监督学习
sklearn是scikit-learn的简称,是一个基于Python的第三方模块sklearn库集成了一些常用的机器学习方法,在进行机器学习任务时并不需要实现算法,只需要简单的调用sklearn库中提供的模块就能完成大多数的机器学习任务。sklearn库是在Numpy、Scipy和matplotl
Feign由于调用服务出现超时导致的问题
1.起因 通过FeignClient指定服务名称,在从eureka获取一个服务的实例ip和端口,来调用某个接口获取数据出现,超时的情况!在调用spu/page接口出现超时的情况feign.RetryableException: Read ti
聊聊「订单」业务的设计与实现
订单业务一直都是系统研发中的核心模块,订单的产生过程,与系统中的很多模块都会高度关联,比如账户体系、支付中心、运营管理等,即便单看订单本身,也足够的复杂;
RabbitMQ--延迟队列--使用/原理
本文介绍RabbitMQ的延迟队列的用法。本内容也是Java后端面试中常见的问题。
Kettle(Pentaho)用法:job作业中并行作业项执行完后执行下一作业项
本文基于Pentaho的kettle模块实现ETL功能,在spoon中实现创建、定义作业,记录作业job的两种处理并行作业项的方法。
es---elasticsearch-篇二:idea操作es,常用查询DSL
es---elasticsearch-篇二:idea操作es,查询DSL
Eureka Server配置
Eureka Server提供注册服务,各个节点启动后,会在EurekaServer中进行注册,Eureka Server会存储所有可用信息的服务节点,其信息可以在界面中直观的观察到。(服务注册中心CAP核心理论一个分布式系统不可能同时很好的满足一致性,可用性,和分区容错性三个需求因此根据CAP原则