kafka知识点拓展
kafka知识点扩展，Broker，Producer，Consumer知识点深入学习。
什么是Power BI
BI管理员：管理Power BI的部署、维护和安全性，包括用户管理、数据源管理和报表发布等，以保证Power BI的正常运行和数据的安全性。数据分析师：使用Power BI进行数据分析和可视化，包括数据的导入、清洗、转换、建模和报表设计等，以实现数据的探索和发现。IT管理员：管理Power BI所依
MES管理系统在生产中的应用及智能工厂的构建思路
本文将详细介绍MES管理系统在工厂生产中的应用以及构建智能工厂的思路。
Python大数据之PySpark(四)SparkBase&Core
executor-memory 默认1G，Memory per executor (e.g. 1000M, 2G) (Default: 1G) ，每个executour的内存。–executor-memory 默认1G，Memory per executor (e.g. 1000M, 2G)
大数据学习 -- 利用Java API 将文件写入HDFS
利用Java API写入HDFS文件
Flink on yarn 加载失败plugins失效问题解决
flink 任务运行在yarn集群,plugins加载失效问题
Flink之FileSink将数据写入parquet文件
Flink写入数据到Parquet文件
运营商大数据获客：电销数据资源企业要实现精准获客金融贷款行业
目前传统的电销数据资源存在的问题也很明显，尤其是表现在金融贷款，教育培训，装修设计，房产保险这几个行业，在各行各业竞争激烈的情况下面，传统的公海数据资源存在被反复利用过度营销的情况，所以说电销数据资源的时效性，也就是实时的电销数据资源才有意义！如果你想获得准确的客户，你必须有信息技术的支持——运营商
16、Flink 的table api与sql之连接外部系统: 读写外部系统的连接器和格式以及JDBC示例（4）
当缓存命中最大缓存行 lookup.partial-cache.max-rows 或当行超过 lookup.partial-cache.expire-after-write 或 lookup.partial-cache.expire-after-access 指定的最大存活时间时，缓存中的行将被设置
解决：ERROR: Cannot set priority of datanode process 10603
datanode 启动解决
ES性能优化最佳实践- 检索性能提升30倍！
虽然Elasticsearch是一款强大的搜索引擎技术，但在超大规模数据检索中，尤其是在处理大量检索关键词（150个以上）、对多个字段执行检索并使用脚本排序时，可能会面临严重的性能问题。在我们实际的业务中，检索的时间可能到达300秒，无法满足实时交互需求。本文带你打开一个新思路。在未添加任何资源的情
Hadoop3教程（二十一）：MapReduce中的压缩
主要介绍了MR里压缩的定义、优缺点、常用压缩算法的对比，以及该在什么地方启用压缩，如何启用压缩等
Hadoop 分布式集群搭建教程（2023在校生踩坑版）
在Hadoop01节点上执行以下命令，启动HDFS和YARN：bug1：如果出现类似报错。
spark相关网站
矢量线八方向和全方向栅格化算法C#实现。GIS中将矢量数据转换栅格数据算法。Spark的五种JOIN策略解析。
数据导入与预处理——实验一：数据导入与导出
掌握使用Kettle进行数据导入与导出的方法计算机、Kettle（PDI）、MySQL数据库某连锁超市为了优化经营管理，拟搭建一个商务智能系统，来帮助企业管理团队更全面、专业的通过数据了解业务况状。目前公司有一个订单数据库，记录了每一笔订单的详细数据，包括以下字段：【字段名称,订单编号,下单日期,销
人工智能如何促进产业升级？
作者：禅与计算机程序设计艺术 1.简介随着人类科技的飞速发展，技术革新带动着产业的变革。由于人的脑力已经无法承受复杂任务的处理，人工智能（AI）技术显得尤为重要。随着人工智能的应用日益广泛，产业变革的加速度也越来越快。围绕着人工智能的产业由传统的机械制造向互联网
倾向得分匹配（PSM）的原理以及应用
该文章主要介绍倾向得分匹配（PSM, Propensity Score Matching）方法的原理以及实现。这是一种理论稍微复杂、但实现较为容易的分析方法，适合非算法同学的使用。可用于（基于观察数据的）AB实验、增量模型搭建等领域。文章主要分为四部分：前置知识（因果推断）介绍、倾向得分计算与匹配与
07-HDFS入门及shell命令
Hadoop分布式文件系统。是Apache Hadoop核心组件之一，作为大数据生态圈最底层的分布式存储服务而存在。分布式文件系统解决大数据如何存储的问题。分布式意味着是横跨在多台计算机上的存储系统。HDFS是一种能够在普通硬件上运行的分布式文件系统，它是高度容错，适用于具有大数据集的应用程序，它非
数据清洗【大数据比赛长期更新】
大数据比赛数据清洗题目分析，欢迎一起讨论
Flink CDC介绍
CDC（Change Data Capture）是一种用于捕获和处理数据源中的变化的技术。它允许实时地监视数据库或数据流中发生的数据变动，并将这些变动抽取出来，以便进行进一步的处理和分析。传统上，数据源的变化通常通过周期性地轮询整个数据集进行检查来实现。但是，这种轮询的方式效率低下且不能实时反应变化
