985高校大数据专业教学究竟怎么样?在校生有话说
哈罗大家好,我是来自华南理工大学数据科学与大数据技术专业的老鸭汤,目前是一名大一菜鸟。
【大数据】flink保证Exactly_Once的理解
满足三点,可以保证端到端的Exactly_Once1.开启checkpoint2.source支持数据重发3.sink端幂等性写入、事务性写入。我们常使用事务性写入sink 事务性写入分为两种方式1、WAL(预写日志的方式):先将数据当作状态保存,当收到checkpoint完成通知后,一次性sink
操作ElasticSearch(脚本操作)
操作ElasticSearch分为脚本操作(运维人员常用)和java操作(开发人员常用),今天小编主要介绍脚本操作方式,之前小编讲解了ES如何搭建,并介绍了IK分词器,今天基于ES环境来继续学习。Restful风格定义一种接口的规范,基于Http协议,可以使用XML、JSON格式定义,每个URI代表
jupyter notebook 安装教程
目录一、jupyter notebook 简介二、安装jupyter notebook三、启动jupyter notebook一、jupyter notebook 简介Jupyter Notebook 是一个基于 Web 的交互式计算笔记本环境。Jupyter Notebook 允许用户创建和共享
第一讲:Kafka要点入门
了解kafka是什么,有哪些特性
大数据调度平台Airflow(八):Airflow分布式集群搭建及测试
目录Airflow分布式集群搭建及测试一、节点规划二、airflow集群搭建步骤1、在所有节点安装python3.72、在所有节点上安装airflow三、初始化Airflow1、每台节点安装需要的python依赖包2、在node1上初始化Airflow 数据库四、创建管理员用户信息五、
生鲜供应链行业分析和产品解决方案
生鲜供应链
华为工业云平台:制造业企业数据平台建设最佳实践分享
本文素材来自于华为工业云平台组织的工业数字化大讲堂,本期主题为:制造业企业数据平台建设最佳实践分享。我们将从制造业的发展趋势出发,分享华为云在制造领域里建设数据平台的最佳实践,帮助企业解决在数字化转型中面临的挑战,并结合华为云数据平台架构设计和数据应用等方面的丰富经验,助力企业挖掘数据价值、驱动数字
用 Elasticsearch 统计做了几次核酸检测?怎么破?
1、两个实战场景问题事出有因,近期的两个问题比较类似:Q1:如何在 Elasticsearch 实现统计做了 5 次(含以上)核酸检测的人员名单及详情?Q2:请教下大家,业务场景要记录每个人的每天的出勤情况,今天出勤标记为1或者当天日期,未出勤不记录,或者为0,有个个人信息索引,那么这个出勤情况改怎
Kafka优雅源码设计2-KafkaProducer如何实现线程安全
1. 背景知识1.1 线程安全的定义我们可以看下《Java并发编程实战》在2.1章节中的定义:当多个线程访问某个类时,这个类始终都能表现出正确的行为,那么就称这个类是线程安全的。我们常用synchronized或者Lock来实现线程安全的代码,1.2 线程安全的级别1.3 Java语言中如何实现线程
211大二计科生高呼:王侯将相宁有种乎?
大家好,我是科科,来自四川农业大学,高中时因为一些原因休学了一年多,后来重新读高中,从高二时转到职高,选择的计算机专业,现在四川农业大学
日活量百万数据,Kafka硬件如何配置?kafka生产者消费者调优
kafka生产者、消费者调优、硬件选择
Hadoop集群搭建(详细简单粗暴)
hadoop集群搭建 hadoop jdk
应势而生,CSDN云原生工程师能力认证官宣
应势而生,C站(CSDN)云原生工程师能力认证启航!
从一个sql引发的hive谓词下推的全面复盘及源码分析(上)
嗨,大家好,我是小萝卜算子。(微信公众号:数据仓库践行者。感谢关注)下面开始今天的正题Hive版本:hive-2.1.1经常听到**【谓词下推】**这个词,却从来没有对它进行全面的深入的研究,直到前些天,我们的数据产品跑过来跟我讨论 他写的一个sql,这个sql最终出现的结果并不是他想要的。看了具体
【SpringBoot】60、SpringBoot中整合RabbitMQ实现延时队列(死信队列篇)
前面在文章:【SpringBoot】43、SpringBoot中整合RabbitMQ实现延时队列(插件篇) 中使用 RabbitMQ 的延时插件 rabbitmq_delayed_message_exchange 来实现延时队列,本篇讲述使用死信队列实现延时队列的原理即实现。一、实现原理1、什么是死
Elasticsearch基础使用教程(一)
目录一、Elasticsearch 是什么?二、安装三、使用指南1.集群健康检查2.查看集群节点3.查看全部索引4.创建索引一、Elasticsearch 是什么?Elasticsearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于 RESTful w
CentOS-7 Linux 上部署hadoop集群(3台)
本文记载一次在虚拟机上Linux 上部署hadoop集群(3台)
一本院校大三萌妹子须臾:我的大数据之路
大家好啊!这里是须臾,正就读于一所普通的一本院校,是新兴专业“数据科学与大数据技术”的大三学生,马上要大四秋招了,压力好大哇,捂脸。
元宇宙发展研究报告2.0版本(清华大学)
近日,清华大学沈阳教授团队发布了《元宇宙发展研究报告2.0版》,总计205页。报告基于《元宇宙发展研究报告1.0版》,从元宇宙的缘起、概念与属性、技术与产业链、场景应用、风险点及治理、热点七问、远未来展望等七个部分对元宇宙发展进行了深入的研究与分析。元宇宙(Metaverse)是利用科技手段进行链接