Kafka的数据可靠与数据重复
kafka数据重复及数据可靠性问题
【微服务】异步通讯实现ES数据同步
玩过Elasticsearch(下面统称ES)的小伙伴都知道ES是一个十分强悍的搜索引擎，但是在之前学习的过程中一直都是通过手敲DSL语句把数据导入进去，这多少有点不优雅。那么到底能不能做到在我们数据库发生变更时，ES中的数据也随之改变，即做到两者数据同步呢？答案理所应当的可以！...
亚马逊科技Build On-【AIoT视频识别 学习心得】
在居家安防监控领域，基于实时视频的移动检测，发现监控环境中人、宠物、包裹等的出现，并且能实时地将检测结果通知给身处任何地方的用户是其重要的应用场景之一。但在这一场景的技术实现中面临如下的挑战：一是基于摄像头的视频检测通知，存在大量由于风、雨、移动的车等并非用户关注的事件误报，严重影响用户的使用体验。
HIVE优化和数据倾斜、合并小文件
HIVE优化和数据倾斜、合并小文件
Hive时间日期函数一文详解+代码实例
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。Hive中的表示纯逻辑表，只有表的定义等，即表的元数据（存储于MySQL中）。本质就是Hadoop的目录/文件，这种设计方式实现了元数据与数据存储分离。Hive本身不存储数据，它完全依赖HDFS
一文速学-HiveSQL解析JSON数据详解+代码实战
JSON文件存储格式十分常见，在各个数据库中以及业务场景都有关于该文件的处理方式。但是有时候处理JSON文件在不同的数据库处理方法也不同，掌握一些高效的函数可以大大简化我们处理JSON数据格式的效率。面对一些复杂的存储形式，例如JSON数组存储这种就必须采取一定的处理方式，下面是处理HiveSQL解
大数据Apache Druid（一）：Druid简单介绍和优缺点
Druid（德鲁伊）是一个分布式的、支持实时多维 OLAP 分析、列式存储的数据处理系统，支持高速的实时数据读取处理、支持实时灵活的多维数据分析查询。在Druid数十台分布式集群中支持每秒百万条数据写入，对亿万条数据读取做到亚秒到秒级响应。此外，Druid支持根据时间戳对数据进行预聚合摄入和聚合分析
添加spark的相关依赖和打包插件（第六弹）
可以看到计算出的单词频数itcast（1）Hadoop（1）spark（1）hello（3）可以看到计算出的单词频数itcast（1）Hadoop（1）spark（1）hello（3）
Hive数据仓库的安装以及mysql的部署(基于Hadoop3.3.3)
Hive数据仓库的安装以及mysql的部署(基于Hadoop3.3.3)
大数据ClickHouse（九）：MergeTree系列表引擎之ReplacingMergeTree
以上MergeTree不能对相同主键的数据进行去重，ClickHouse提供了ReplacingMergeTree引擎，可以针对同分区内相同主键的数据进行去重，它能够在。值得注意的是，ReplacingMergeTree只是在一定程度上解决了数据重复问题，由于自动分区合并机制在后台定时执行，所以Re
【资深开发进阶专栏】
列举了一些高频的，大厂的面试题，深入浅出的总结了一下，未来这个专栏，个人也会不断更新，追求每篇文章都是高质量，高水平。
“互联网+”大学生创新创业大赛经历
参赛项目能够将移动互联网、云计算、大数据、人工智能、物联网、下一代通讯技术等新─代信息技术与经济社会各领域紧密结合，培育新产品、新服务、新业态、新模式;(三)“互联网+”信息技术服务，包括人工智能技术、物联网技术、网络空间安全技术、大数据、云计算、工具软件、社交网络、媒体门户、企业服务、下-代通讯技
IDLE开发wordCount程序（第五弹）
以本地模式执行spark程序
Hive DML常见操作
Hive DML常见操作
1-第一篇入住博客自我介绍
对于数据科学专业而言，掌握计算机知识以及编程应用尤其重要，而计算机和数据科学相关的课程包括（我们已学和在学的）：Linux，sql数据库，数据科学导论，统计学导论，计算机操作原理，大数据技术原理与应用，数据结构与算法，python程序设计，C语言，HBase数据库，Hadoop，Spark算法，机器
第15章_锁
第 15 章_锁事务的隔离性由这章讲述的锁来实现。1. 概述锁是计算机协调多个进程或线程并发访问某一资源的机制。在程序开发中会存在多线程同步的问题，当多个线程并发访问某个数据的时候，尤其是针对一些敏感的数据（比如订单、金额等），我们就需要保证这个数据在任何时刻最多只有一个线程在访问，保证数据的完整性
HiveServer2 报错 OutOfMemoryError 解决思路
HiveServer2 报错 OutOfMemoryError 解决思路
大数据必学Java基础（四十九）：Math类和Random类的讲解
不能【6】静态导入。
迎战秋招计划
MCA_高并发，MCA_Redis。代码随想录刷到动态规划。
Springboot+RabbitMQ+ACK机制(生产方确认(全局、局部)、消费方确认)、知识盲区
Springboot+RabbitMQ+ACK机制(生产方确认(全局、局部)、消费方确认)、知识盲区
