大数据Hive（介绍+安装+使用）
对数据进行统计分析，SOL是目前最为方便的编程工具，但是MapReduce支持程序开发 (Java、Python等)但不支持SQL开发。Hive是一款分布式SQL计算的工具，其主要功能是将SQL语句翻译成MapReduce程序运行。
CentOS7安装Hadoop集群
Centos7部署Hadoop3.3.6以及Hive3.1.3
大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
上节研究了SparkSQL的JOIN操作，Broadcast、Shuffle、SQL解析的过程详解，SparkSQL的详细优化思路。本节研究SparkStreaming的接触概述，背景概述、基本概念、架构概念、容错性等等。随着大数据技术的不断发展，人们对于大数据的实时性处理要求也不断提高，传统的Ma
大数据-47 Redis 缓存过期 淘汰删除策略 LRU LFU 基础概念
上节进行了RDB和AOF和混合模式的配置测试学习，本节进行缓存过期、淘汰策略、删除策略的研究学习。LFU（Least Frequency used）最不经常使用，如果一个数据在最近一段时间内使用次数很少，那么将来一段时间内被使用的可能性也很小。LRU（Least Recently Used）最近最少
Flink入门(四) -- Flink中的窗口
窗口通常指的是建筑物中用来采光和通风的构件，即窗户。这是“窗口”一词最直接和常见的含义。
Hadoop的安装和使用-2024年08月01日
1.创建Hadoop用户2.SSH登陆权限设置3.java的安装4.Hadoop单机安装配置5.Hadoop伪分布式安装配置
2024实时股票api接口分享
股票API接口在金融市场中扮演着重要的角色，它不仅为投资者提供了便捷的数据获取方式，还促进了金融科技的创新和金融市场的发展。数据分析与挖掘：通过对实时股票API接口提供的大量数据进行分析和挖掘，投资者可以发现市场趋势、交易机会和风险，从而制定更有效的投资策略。数据实时性：对于需要实时监控市场动态的投
智能客服带你飞：服务也可以这么“聪明”
智能客服作为一种创新的客户服务解决方案，具有巨大的潜力和价值。
大数据Flink（一百一十一）：开通阿里云Flink全托管
在实时计算控制台上，可以在Flink全托管页签，单击目标工作空间的更多>工作空间详情，查看空间名称、工作空间ID、OSS Bucket、SLB IP、专有网络名称和ID、虚拟交换机等信息。flink-savepoints：在Flink全托管开发控制台上单击Savepoint，会触发Savepoint
第二届海南大数据创新应用大赛 - 算法赛道冠军比赛攻略_海南新境界队
此次比赛任务解决PDF竖排和折行问题后，使用普通的BERT预训练模型便可达到78+的准确度量级，并且该算法迁移到其它项目中同样具有落地性。数据增强和模型融合是有效的提升手段，模型融合这块线下预测acc有提高，线上预测性能没有提升，还需进一步探究。准确度和时间复杂度不可兼得，如何满足现实中速度和性能的
使用 Kibana 和 Vega 构建高级可视化
为了解释在 Kibana 中构建 Vega 可视化的基础知识，我将使用此 GitHub 存储库中的 2 个示例。具体来说，我将介绍：- 使用 Elasticsearch 聚合进行数据采购- 轴和标记- 事件和信号（例如工具提示和更新中央 Kibana 仪表板过滤器）我还将分享一些有用的技巧，用于在
大数据时代来袭，那么工程领域的数据科学如何成为行业的新超级英雄呢
毫无疑问，设计和工程团队必须重新思考他们的方法。随着创收时间变得越来越重要，尽早确定最佳产品设计解决方案也变得越来越重要
ES环境搭建、ES安装
全文检索是通过对文本进行全面索引和搜索的技术。首先对文本进行分词、去除停用词等。对处理后的数据建立倒排索引。索引会记录每个单词在文本中的位置信息与其他元数据信息，比如词频、权重等发起搜索请求时，搜索引擎根据搜索的关键词或短语，在建立好的索引中查找匹配文档。
采用 Phi-3 小型模型和 Elastic 的智能订购系统
本文向你展示如何将 Microsoft 高效的与 Elastic 的语义搜索功能相结合，以创建智能的对话式订购系统。我们将介绍如何在 Azure AI Studio 上部署 phi-3、设置 Elastic 以及为一家意大利餐厅构建应用程序。4 月，Microsoft 宣布推出其最先进的系列，这些模
大数据 第九章 HBase基础
1.HBase和mysql一样，是一种数据库，hive不能做数据修改，适合做数据仓库，mysql适合做联机操作。HBase是一种mosql数据库。2.HBase特性：1）数据的最终持久化存储是基于HDFS，这样就可以随时在线扩容。2）HBase的数据增删改查功能模块是分布式系统3.HBase表结构表
大数据-95 Spark 集群 SparkSQL Action与Transformation操作 详细解释与测试案例
上节研究了SparkSQL中的SparkSession、SparkSQL中的RDD、DataFrame、DataSet，同时研究了三者之间是如何进行互相转换的。本节继续研究SparkSQL，研究当中的Action和Transformation操作，附带详细的解释与测试案例截图。 备注：Dataset
深入探索【Hadoop】生态系统：Hive、Pig、HBase及更多关键组件（上）
本文深入探索了Hadoop生态系统的核心组成部分及其关键组件，特别是聚焦于Hive、Pig和HBase这三个重要工具。Hadoop作为大数据处理和分析的基石，通过其丰富的生态系统为企业和组织提供了强大的数据处理能力。首先，文章介绍了Hive，作为Hadoop上的数据仓库工具，Hive允许用户通过类S
Flink实时数仓（六）【DWD 层搭建（四）交易域、互动域、用户域实现】
Flink 实时数仓 DWD 层搭建，交易域、工具域、用户域事务事实表实现
全球化运营：出海财务系统选型攻略
软件利用最新的技术，如人工智能（AI）和自动化，来帮助企业提高效率、降低成本，并做出更明智的决策。Xero是一款基于云的会计软件，以其直观的操作界面和易于使用的特性受到许多初创企业和小企业的青睐。Odoo是一款开源的财务管理系统，提供灵活的财务建模功能，包括假设情景下的财务计划、预算和预测。SAP
在Mac上安装Spark apache-spark-3.5.1
安装spark的步骤较为简单，前提是要安装好Hadoop哦。这里我使用brew来安装，如果你安装了homebrew直接在终端里输入brew install apache-spark然后等着就可以了（如果没有安装过brew的参考其他博主的内容去安装哦）上面这个就是用brew安装好的样子切换到spark
