在企业规模构建安全数据湖

关键字: [Amazon Web Services re:Invent 2023, Data B, Security Data Lake, Data Fabric, Data Pipelines, Data Normalization, Continuous Controls Monitoring]

本文字数: 900, 阅读完需: 4 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1uN4y1a7Hk

导读

为什么我们仍然使用白板来映射数据血缘,并且艰难地寻找数据所有者?就像DevSecOps运动一样,现在是时候将安全数据重点转移到上游,并给人们他们需要的——更好的数据共享和隐私。这可以加快发现不同数据之间关系的速度,并提供可操作的洞察力来改善安全态势,报告合规效果,并可视化趋势。在这个闪电式演讲中,了解Comcast如何构建一个云原生的安全、合规和风险数据结构,以充分利用安全数据湖的功能。本演示由Comcast DataBee提供,它是亚马逊云科技的合作伙伴。

演讲精华

以下是小编为您整理的本次演讲的精华，共600字，阅读时间大约是3分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

演讲者开始强调将安全数据的焦点从仅关注上游收集转向充分利用下游价值的重要性。他强调，通过发掘组织内不同数据源之间的关系来提供安全洞察至关重要。

接着，他概述了演讲的主要内容，包括Comcast公司在处理大规模安全数据挑战时的实际经验和策略，如区分数据仓库、数据湖和数据结构，探讨数据成熟度的各个阶段，展示如何将内部数据湖转变为企业级数据结构，重点介绍数据结构所支持的核心功能，以及阐述Comcast公司的DataBee解决方案如何加速组织的安全数据进程。

演讲者详细地讲述了Comcast的成功案例，展示了他们的惊人数据成果，例如拥有10 PB的安全数据、采用7种不同的多/混合云解决方案、每月分析1800万IP地址目标、经营超过500家实体店和管理544个第三方连接。

考虑到他们安全数据的庞大规模和分布式特点，演讲者强调了构建强大的数据基础设施的必要性。他解释了他们是怎样创建一个用于关键数据识别的数据仓库，一个用于转换和正常化的数据湖，以及一个用于添加业务背景的数据结构。

演讲者透露，Comcast在公司范围内开始搭建安全数据湖是在大约5.5年前，当时的数据实践主要是被动的和孤立的。随着时间的推移，他们已经逐步完善了自己的能力，建立了横跨各种具有不同数据专业知识团队的综合性安全数据结构。

他认为，许多组织仍然停留在早期的被动阶段，此时数据分散在各个团队中，且存在不一致的“事实版本”。数据结构范式允许将不同的数据连接成统一的视图，以便进行全面分析和前瞻性的智能预测。

根据演讲者的观点，在安全数据旅程中取得进展需要确定关键数据源，开发提取和转换数据管道的ETL，以及实施数据质量保障措施以确保可靠性。

演讲者随后向观众展示了一个名为Comcast的公司是如何构建其内部DataBee数据结构解决方案的。该方案可以从内部和云源中提取数据，自动解析和规范数据，将其映射为标准模式，并提供丰富的上下文，从而以优化的成本和提高搜索效率的方式将其加载到数据湖中。

演讲者详细阐述了Comcast公司的数据金字塔方法，底层的原始数据供技术用户直接访问，而上层则为业务团队逐步精炼数据，提供交互式仪表板和可视化。

他强调了数据结构解锁的核心功能，如持续监控、数据科学模型、智能警报、日志记录、通用模式以及用于快速搜索的交互式笔记本。

总的来说，演讲者强调了数据结构如何降低成本、实现实时洞察、提供统一界面并通过可重复使用的数据基础设施创造无限机会。Comcast公司的DataBee可以通过其现成的数据摄入、丰富、规范和分析模块来推动组织的安全数据之旅。

总的来说，这次演讲通过利用Comcast的实践经验，为我们提供了关于构建企业规模安全数据湖的深入见解。演讲者系统地概述了数据的成熟阶段，并清楚地解释了如何通过实施数据结构范式将孤立的安全数据构建成统一的资产，以驱动前瞻性的智能。

下面是一些演讲现场的精彩瞬间：

领导者强调了解决数据标准化问题的重要性，以便将其转换为适用于各种业务场景的连贯可用格式。

通过对数据来源和质量的保障，提高了数据平台在电子表格中的可信度。

Splunk通过将原始数据与数据湖中的标准化数据相结合，为警报提供了更丰富的背景信息。

一个有效的数据结构能够支持持续的合规性监控，降低随着时间推移脱离预期安全状态的风险。

领导者探讨了亚马逊云科技如何实现与行业标准和如NIST、PCI等保持一致性的持续控制监控。

亚马逊云科技通过将威胁情报数据直接整合至安全工具中，实现了实时的安全监控和响应功能。

总结

演讲者探讨了如何构建强大的安全数据湖以获取有价值的洞察力的策略。他们指出，企业通常从拥有孤岛和不一致数据的“有意识且反应式的”初始阶段开始，目标实现向成熟阶段的“使能和规范”过渡，即实施连贯的数据织层。关键步骤包括识别与关键控制相关的核心数据源，开发规范化的数据管道，并集成数据质量保护措施。

在Comcast公司，他们建立了一个数据织层，用于提取、转换并将数据加载到云数据湖中。这实现了持续的控制监控、数据科学模型、上下文警报、广泛的日志覆盖以及用于威胁狩猎的交互式笔记本。最终，数据织层降低了成本，提供了实时见解，创建了统一的界面，并通过AI/ML激发了无限的机会。如今，Comcast公司提供DataB解决方案，以加速其他企业的数据之旅，摄入内部和云数据，丰富它，并将其放入客户的首选数据湖中。

演讲原文

https://blog.csdn.net/just2gooo/article/details/134861400

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。