使用 Kibana 和 Vega 构建高级可视化
为了解释在 Kibana 中构建 Vega 可视化的基础知识，我将使用此 GitHub 存储库中的 2 个示例。具体来说，我将介绍：- 使用 Elasticsearch 聚合进行数据采购- 轴和标记- 事件和信号（例如工具提示和更新中央 Kibana 仪表板过滤器）我还将分享一些有用的技巧，用于在
大数据时代来袭，那么工程领域的数据科学如何成为行业的新超级英雄呢
毫无疑问，设计和工程团队必须重新思考他们的方法。随着创收时间变得越来越重要，尽早确定最佳产品设计解决方案也变得越来越重要
ES环境搭建、ES安装
全文检索是通过对文本进行全面索引和搜索的技术。首先对文本进行分词、去除停用词等。对处理后的数据建立倒排索引。索引会记录每个单词在文本中的位置信息与其他元数据信息，比如词频、权重等发起搜索请求时，搜索引擎根据搜索的关键词或短语，在建立好的索引中查找匹配文档。
采用 Phi-3 小型模型和 Elastic 的智能订购系统
本文向你展示如何将 Microsoft 高效的与 Elastic 的语义搜索功能相结合，以创建智能的对话式订购系统。我们将介绍如何在 Azure AI Studio 上部署 phi-3、设置 Elastic 以及为一家意大利餐厅构建应用程序。4 月，Microsoft 宣布推出其最先进的系列，这些模
大数据 第九章 HBase基础
1.HBase和mysql一样，是一种数据库，hive不能做数据修改，适合做数据仓库，mysql适合做联机操作。HBase是一种mosql数据库。2.HBase特性：1）数据的最终持久化存储是基于HDFS，这样就可以随时在线扩容。2）HBase的数据增删改查功能模块是分布式系统3.HBase表结构表
大数据-95 Spark 集群 SparkSQL Action与Transformation操作 详细解释与测试案例
上节研究了SparkSQL中的SparkSession、SparkSQL中的RDD、DataFrame、DataSet，同时研究了三者之间是如何进行互相转换的。本节继续研究SparkSQL，研究当中的Action和Transformation操作，附带详细的解释与测试案例截图。 备注：Dataset
深入探索【Hadoop】生态系统：Hive、Pig、HBase及更多关键组件（上）
本文深入探索了Hadoop生态系统的核心组成部分及其关键组件，特别是聚焦于Hive、Pig和HBase这三个重要工具。Hadoop作为大数据处理和分析的基石，通过其丰富的生态系统为企业和组织提供了强大的数据处理能力。首先，文章介绍了Hive，作为Hadoop上的数据仓库工具，Hive允许用户通过类S
Flink实时数仓（六）【DWD 层搭建（四）交易域、互动域、用户域实现】
Flink 实时数仓 DWD 层搭建，交易域、工具域、用户域事务事实表实现
全球化运营：出海财务系统选型攻略
软件利用最新的技术，如人工智能（AI）和自动化，来帮助企业提高效率、降低成本，并做出更明智的决策。Xero是一款基于云的会计软件，以其直观的操作界面和易于使用的特性受到许多初创企业和小企业的青睐。Odoo是一款开源的财务管理系统，提供灵活的财务建模功能，包括假设情景下的财务计划、预算和预测。SAP
在Mac上安装Spark apache-spark-3.5.1
安装spark的步骤较为简单，前提是要安装好Hadoop哦。这里我使用brew来安装，如果你安装了homebrew直接在终端里输入brew install apache-spark然后等着就可以了（如果没有安装过brew的参考其他博主的内容去安装哦）上面这个就是用brew安装好的样子切换到spark
数据同步工具之Flink CDC
Flink CDC（Change Data Capture）是基于Apache Flink的一个扩展，用于捕获和处理数据库中的数据变化。它能够实时捕获关系数据库中的数据变更（如插入、更新、删除操作），并将这些变更流式传输到Flink进行处理。以下是Flink CDC的详细介绍：
基于Hadoop去哪儿旅游景点数据采集与分析
通过网页数据分析，发现去哪儿网的页面结构规范，提供了丰富的信息，这使得自动化数据采集成为可能。在景点列表页面中，每个景点的信息均被整齐地组织在一定的HTML结构中，而景区详情页面则提供了深入的单个景点信息，包括用户的具体评价和评分。例如，评论总数可能通过某个特定的类名聚合在一起，而详细的用户评论则分
大数据-49 Redis 缓存问题中 穿透、雪崩、击穿、数据不一致、HotKey、BigKey
上节完成了Redis的通信协议、响应模式、数据格式、多路复用。本节我们学习缓存的问题，比如穿透、雪崩、击穿、数据不一致性、HotKey、BigKey等，并提出解决方案。对于一些设置了过期时间的key，如果这些key可能会在某些时间点被超高并发的访问，是一种非常热的数据。多个客户端并发写一个 key，
大数据-93 Spark 集群 Spark SQL 概述 基本概念 SparkSQL对比 架构 抽象
上节研究了Spark的Standalone、SparkContext、Shuffle的V1和V2的对比等内容。本节研究SparkSQL，SparkSQL的基本概念、对比、架构、抽象。SparkSQL 是 Apache Spark 中用于处理结构化数据的模块。它不仅支持 SQL 查询，还允许你将 SQ
什么是数据血缘？怎么做好数据血缘分析？
本文介绍了数据血缘的定义、特点以及未来技术发展趋势并介绍了如何做好数据血缘分析。
Uptime第14份年度全球数据中心调查结果显示，行业正在扩大规划，以应对重大的技术、经济和运营变化
30多年来，该公司为数据中心的性能、恢复力、可持续发展和效率建立了行业领先的基准，为客户提供了保障，使他们的数字基础设施能够在各种运行条件下以符合其各自业务需求的水平运行。Uptime提供的服务包括该组织的分级标准和认证、管理与运营审查和评估（包括SCIRA-FSI金融行业风险评估）、可持续性评估以
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
上节研究了RDD的容错机制、分区机制、分区器、自定义分区器等内容。本节研究RDD的广播变量、RDD的累加器，用来对Spark程序进行优化的。有时候需要在多个任务之间共享变量，或者在任务（Task）和 Driver Program 之间共享变量。为了满足这个需求，Spark提供了两种类型的变量。广播变
信息泄露事件频发，我们应该如何防范？|企业数据防泄密的实用方法
信息泄露的风险来源多种多样，包括内部员工的不当操作、外部黑客的攻击、合作伙伴的数据共享不当等。一旦敏感数据泄露，可能涉及客户隐私、商业机密、技术专利等重要信息，对企业的运营和发展造成严重影响。
确保Apache Flink流处理的数据一致性和可靠性
Apache Flink是一个用于大规模数据流处理的开源框架，它提供了多种机制来保证在分布式环境中数据的一致性和可靠性。在实时流处理中，数据的一致性和可靠性是至关重要的，因为它们直接影响到数据处理结果的准确性和系统的稳定性。本文将详细介绍Flink如何通过不同的机制和策略来确保数据的一致性和可靠性。
通俗大白话讲大数据（新手筑基篇，中国移动实习）
数据采集传输：Flume、kafka、datax，maxwell，sqoop，logstash数据存储：mysql、hdfs、hbase、redis、mongodb数据计算：hive、spark、flink、storm、tez数据查询：presto、kylin、impala、druid、clickh
