【Spark ML】第 1 章：机器学习简介
AI、机器学习和深度学习之间的关系深度学习在2000年代中期的复兴使人们重新关注人工智能和机器学习的连接主义方法。深度学习的复兴，高速图形处理单元（GPU）的可用性，大数据的出现以及来自谷歌，Facebook，亚马逊，微软和IBM等公司的投资创造了一场完美的风暴，推动了人工智能的复兴。 在过去的十年
Linux下编写shell脚本一键启动HBase
zookeeper启动、停止脚本。hadoop启动、停止脚本。hbase启动、停止脚本
想了解流计算？你必须得看一眼，实现Flink on Yarn的三种部署方式，并运行wordcount计算任务
想了解流计算，你必须得看一眼，实现Flink on Yarn的三种部署方式，并运行wordcount,7000字奉上
mysql mvcc 原理详解
mysql mvcc原理解读
竞争不是内卷，用头脑学习，而非时间
大多数人不懂，不会，不做，才是你的机会，你得行动，不能畏首畏尾大数据等于趋势，一个向上趋势的行业会让你赚得比其他行业多。
Debezium系列之：相同主键数据进入相同分区
Debezium系列之：相同主键数据进入相同分区
Flink / Scala 实战 - 18.一套代码搞懂 KeyedState
Flink - ValueState 、ListState 、 ReducingState 、AggregateState、MapState 实战 demo。
大数据必学Java基础（八十五）：自定义注解
发现定义的注解的声明使用的关键字：@interface，跟接口没有一点关系。
大数据必学Java基础（八十四）：注解的案例介绍
Annotation 可以像修饰符一样被使用，可用于修饰包，类，构造器，方法，成员变量，参数，局部变量的声明，这些信息被保存在Annotation的"name=value"对中。在JavaSE中，注解的使用目的比较简单，例如标记过时的功能，忽略警告等。@Deprecated:用于表示所修饰的元素(类
这家公司只有1个人，年赚一个亿
金磊 Pine 发自 凹非寺量子位 | 公众号 QbitAI全公司上下仅有1个人，每年竟能赚上1400多万美元（1亿多元）。这并不是什么天方夜谭，而是现实生活中上演的真人真事。故事的主人公叫做Gary Brewer（简称“盖哥”），而他之所以能如此猛猛吸金，靠的就是自己创办的网站BuiltWith。
大数据项目之电商数仓、数据仓库概念、项目需求及架构设计
比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据。：用户在使用产品过程中，通过埋点收集与客户端产品交互过程中产生的数据，并发往日志服务器进行保存。数据仓库，并不是数据的最终目的地，而是为数据最终的目的地做好准备。这些准备包括对数据的：备份、清
Hive group by 数据倾斜问题处理
发现一个10.19号的任务下午还没跑完，正常情况下，一般一个小时就已经跑完，而今天已经超过3小时了，因此去观察实际的任务，发现9个map 其中8个已经完成，就一个还在run，说明有明显的数据倾斜。在一小时内结束，并且没有哪个节点耗时较长。发现有使用group by。
Debezium系列之：为接入的每条数据新增键值对
Debezium系列之：为接入的每条数据新增键值对
【大数据基础之java单列集合】
java单列集合
一个基于Python数据大屏可视化开源项目
这是一个基于Python开发的，结构简单的项目。可通过配置Json的数据，实现数据报表大屏显示。在app.py修改SourceData，或者新增比如新增：MyReportData。1、Python + Js + Css + Html开发。优点：代码清晰、结构简单、配置Json数据实现。在data.p
【Apache Spark 】第 7 章优化和调优 Spark 应用程序
在上一章中，我们详细介绍了如何在 Java 和 Scala 中使用数据集。我们探索了 Spark 如何管理内存以适应 Dataset 构造，并将其作为其统一和高级 API 的一部分，并且我们考虑了与使用 Datasets 相关的成本以及如何降低这些成本。除了降低成本，我们还想考虑如何优化和调整 Sp
【Apache Spark 】第 9 章使用 Apache Spark构建可靠的数据湖
在前面的章节中，您学习了如何轻松有效地使用 Apache Spark 构建可扩展的高性能数据处理管道。然而，在实践中，表达处理逻辑只解决了构建管道的端到端问题的一半。对于数据工程师、数据科学家或数据分析师来说，构建管道的最终目标是查询处理过的数据并从中获得洞察力。存储解决方案的选择决定了数据管道的端
大数据必学Java基础（八十三）：Junit单元测试
软件的白盒测试是对软件的过程性细节做细致的检查。这种方法是把测试对象看做一个打开的盒子，它允许测试人员利用程序内部的逻辑结构及有关信息，设计或选择测试用例，对程序的所有逻辑路径进行测试,通过在不同点检查程序状态，确定实际状态是否与预期的状态一致。这种方法是把测试对象看做一个黑盒子，测试人员完全不考虑
开发人员提高开发效率的10个推荐工具
推荐10个能够提高开发人员开发效率的10个工具
大数据必学Java基础（八十二）：基于UDP的网络编程
客户端：Socket程序感受到的使用流 ：输出流服务器端： ServerSocket --> Socket 程序感受到的使用流 ：输入流（客户端和服务器端地位不平等）发送方：DatagramSocket 发送：数据包 DatagramPacket接收方：DatagramSoc
