Amazon OpenSearch 服务的安全分析和可观察性

关键字: [Amazon Web Services re:Invent 2023, OpenSearch, Security Analytics, Observability, Opensearch Service, Investigation, Findings]

本文字数: 2200, 阅读完需: 11 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1ZN411L7kg

导读

Amazon OpenSearch 服务和 Amazon Security Lake 一起为组织提供了一个全面且经济高效的安全战略。这有助于安全运营（SecOps）团队快速检测潜在威胁，并使用工具促进对历史数据的安全调查。这也为 DevOps 和现场可靠性工程师提供了一种集成的经验，以隔离关键事件并使用所有可观察性信号来检测容器化应用程序和微服务的问题。参加本讲座，了解最佳实践、监控模式，以及如何以大规模和低成本满足组织的安全性和可观察性要求。

演讲精华

以下是小编为您整理的本次演讲的精华，共1900字，阅读时间大约是10分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

亚马逊云科技的解决方案架构师Muhammad Ali和Hajer Bouafif在他们的演讲中以解决方案架构师的身份分享了许多有关OpenSearch的信息，该技术可以帮助客户从他们的机器数据中获取价值。在本次会议上，他们将重点关注OpenSearch的可观察性和安全分析使用例，并提供参考架构和演示，以帮助与会者更好地理解这些应用。

首先，Muhammad Ali深入探讨了可观察性的应用场景。他通过强调IDC预测到，到2023年，全球将产生129ZB的数据来展开话题。这一数据增长的主要驱动因素是生成式人工智能的采用，这将导致机器以惊人的速度产生更多的数据。事实上，大部分数据已经是由机器生成的，而非由人类产生的。

为了解释机器数据的来源，Muhammad Ali解释说，现代应用程序和API通过指标和日志捕获性能和行为数据。DevOps和安全工具监控服务器、数据库、网络流量和应用访问，生成关于性能、使用情况和潜在威胁的见解。物联网（IoT）设备持续监控业务环境并发送回进行分析的数据。所有这些数据都非常有价值，可以用来回答关于应用程序健康、故障排除问题、检测可疑活动以及优化业务运营的关键问题。

然而，构建用于存储和提取大量机器数据的见解的解决方案是具有挑战性的。这就是像OpenSearch这样的软件系统发挥作用的地方——它专为摄入、处理、存储和分析大量机器数据而设计。它提供信号（如警报）和视觉洞察，以揭示时间序列数据的趋势。

OpenSearch是一个旨在多台机器上运行的分布式系统。对于那些不想承担管理OpenSearch自身负担的公司来说，它可以作为称为Amazon OpenSearch Service的完全托管服务提供。这使得它能够轻松地在亚马逊云科技内大规模运行，同时确保高可靠性、安全性和易用性。

一些OpenSearch服务为可观察性使用案例提供的关键功能包括：

插件在经过优化后，适用于可观察性、可扩展搜索和安全分析等多种使用场景。这些优化使得插件能够与亚马逊云科技服务和开源生态系统集成，从而加快开发进程。UltraWarm存储层可以长期以经济高效的方式保留大量日志数据。

在使用OpenSearch构建应用程序的过程中，第一步通常是识别机器数据的来源，例如日志、指标或其他信号。这些数据以JSON格式发送到OpenSearch，默认情况下会自动建立索引。随后，OpenSearch通过UI（如OpenSearch Dashboards）和API为用户提供搜索、分析和可视化数据的功能，从而创造有价值的见解。这种共同模式适用于所有基于OpenSearch的应用程序。

可观察性平台是OpenSearch的一个非常受欢迎的应用场景。Muhammad Ali表示，可观察性平台可以帮助用户收集和分析来自应用程序和基础设施的数据，以实时了解其内部状态。这样一来，当出现问题时，就可以智能地发出警报，并进行快速的故障排除。可观察性解决方案专注于减少两个关键指标——问题检测的平均时间（MTTD）和问题修复的平均时间（MTTR）。通过最小化这两个指标，可观察性平台使得用户能够构建高度可用、可靠和高性能的应用程序，无论底层技术栈如何。

强大的可观察性策略的好处主要体现在两个方面。首先，开发者用于枯燥的故障排除和调试的时间减少，使他们能够更专注于高价值的业务逻辑和用户体验。其次，任何系统停机或停机时间都降到最低，从而减少了收入影响和声誉损害。Mohollahmed强调，根据研究，《财富》1000强公司的未计划停机事件每年导致超过10亿美元的损失，而可观察性旨在减轻这一损失。

他解释道，公司通常会使用两个指标来衡量他们的可观察性策略的有效性：问题检测的平均时间（MTTD）和问题修复的平均时间（MTTR）。降低这两个指标可以直接转化为减少停机成本，更快地发现问题并更快地解决它们。这对于应对应用可靠性挑战和安全性漏洞也同样适用。

可观测性平台是如何实现的呢？它们收集并处理来自应用程序和安全工具的信号，包括：

• 提供领先的度量标准和预测新兴问题的指标，例如微服务中错误率的上升可能会影响整个应用程序的性能。这使得我们能够在用户投诉之前就发出主动警报。
• 跟踪跨服务的端到端处理生命周期，以确定导致故障或性能下降的具体组件。
• 记录详细的日志，以便在找到问题组件后进行故障排除。

通过这些数据类型的结合，提供了一个全面的上下文洞察，以最大程度地减少检测、调查和解决问题所需的时间。尽管使用的具体技术可能有所不同，但可观测性的基本架构是相似的：

1. 对应用程序进行仪表化以收集指标、追踪和日志
2. 将数据发送到缓冲层，如S3或流式解决方案
3. 将数据导入分析引擎，如OpenSearch进行存储、处理和查询
4. 创建实时监控和故障排除的警报和可视化

对于在亚马逊云科技上运行应用程序的公司，关键组件包括：

• 在EC2、EKS或亚马逊云科技服务中运行的应用程序
• 用于数据收集的开放源代码或亚马逊云科技代理，如CloudWatch
• 用于跨多语言微服务的供应商中立仪器计算的OpenTelemetry
• 用于存储日志的S3以及用于低延迟数据流的OpenSearch Injection Service
• 用于存储、分析和通过OpenSearch Dashboards进行可视化的OpenSearch

Muhammad Ali表示，OpenSearch可以直接摄入指标，但建议使用专门的时序数据库，如Prometheus，来存储大量指标数据。他强调，OpenSearch Dashboards还允许在Prometheus中查询数据，以实现日志、追踪和指标的统一视图。为了展示这些概念，Muhammad Ali进行现场演示了一个基于OpenSearch的可观测性解决方案。他使用了一个在Amazon EKS上运行的示例电子商务应用程序，并通过OpenTelemetry对其进行仪器化以发出追踪和指标。OpenTelemetry收集器汇总数据并将指标发送到Prometheus，同时将日志和追踪转发到OpenSearch Injection Service以加载到OpenSearch中。预构建的Grafana仪表板可可视化Prometheus指标，而OpenSearch Dashboards则提供应用程序拓扑图、追踪视图和日志查询，以检测和解决故障。

该系统内置有对常见日志类型的解析能力，包括DNS、防火墙和Web访问等，从而减轻了数据建模的工作负担。拥有超过2200个针对广泛已知威胁和攻击模式的预构建Sigma规则，使得检测规则的创建过程变得更加简单高效。

标准化的Sigma规则格式有助于在不同组织之间实现规则共享，从而充分利用社区知识。MITRE ATT&CK框架的整合提供了丰富的威胁情报，从而强化了调查工作流程。她深入了解了这个插件支持的安全分析工作流程，包括：

1. 从各种来源（如网络、端点、云服务等）收集安全数据。
2. 创建检测器，定义用于识别潜在威胁的规则并配置相关警报。
3. 在规则匹配发生时，分析检测器生成的发现结果。
4. 利用威胁情报来调查警报并找出根本原因。
5. 可视化跨不同数据源的相关发现，以揭示更广泛的攻击活动。

接下来，Hajer Bouafif通过实时演示展示了这些功能。她通过OpenSearch Dashboards展示了如何插件提供历史发现和警报的概述，允许深入研究发现细节，使用MITRE ATT&CK威胁情报丰富调查，以及可视化跨不同数据源的相关发现。这展示了安全团队如何利用OpenSearch和插件来统一跨孤立的安全数据的可视化，加速对威胁的检测和调查，并主动加强防御。

尽管功能强大且易于使用，但Hajer Bouafif指出，团队可能需要导入和分析新的自定义安全数据源。传统上，这需要投入工程力量来构建解析和连接逻辑。为了简化这个过程，她强调了如何使用Amazon Security Lake来自动集中和转换不同的安全数据为OpenSearch友好的格式。作为完全管理的服务，Security Lake消除了对DIY数据处理的需求——团队可以直接在OpenSearch中分析标准化的数据，专注于高价值分析。

Hajer Bouafif最后总结了三个关键收获：首先，尽可能集中来自云、本地和第三方系统的安全和可观察性数据。这种整合提供了一个统一的系统健康和威胁视图。其次，利用开放标准如OpenTelemetry进行可观察性，以及Sigma规则进行安全性。这简化了仪器化和检测规则创建，同时使团队能够从社区知识中受益。

首先,演讲者强调了使用像OpenSearch这样的托管服务的重要性,而非管理分析软件和基础设施。这使得开发人员和分析师能够专注于创造实际价值,而无需处理繁琐的IT任务。

总的来说,演讲者为听众提供了一份详尽的概述,展示了如何通过使用OpenSearch(一种具有自我管理能力并通过完全托管的OpenSearch服务)在跨应用程序中实现可观察性,从而从安全数据中提取价值。通过案例分析、参考架构和现场演示,演讲者使得这些概念变得通俗易懂,让与会者能够在其可观察性和安全分析过程中开始应用OpenSearch。

下面是一些演讲现场的精彩瞬间：

穆罕默德·阿里（Muhammad Ali）和哈杰·韦夫（Hajer Bouafif）这两位在亚马逊云科技担任OpenSearch相关职务的人员，他们探讨了如何运用Opensearch技术来帮助客户从其机器数据中提取价值。

他们认为可观察性平台在减少停机时间和降低运营成本方面的关键作用。

OpenTelemetry作为一个中立的框架，能够从多种语言架构中收集可观察性信号。

近期，亚马逊推出了Amazon OpenSearch Injection Service，这是一项将实时数据传输至OpenSearch域的全程托管服务项目。

他们强调，通过使用OpenSearch仪表板，可以构建一个应用程序视图，将跨多个服务的相关追踪数据进行整合，从而提高可观察性。

最后，他们还讨论了如何通过采用开放标准和利用社区知识来解决日志数据分析方面的挑战。

总结

本演讲主要探讨如何使用Amazon OpenSearch服务进行安全和应用可观察性的分析。OpenSearch能够接收各种指标、日志和轨迹，从而实现快速检测和解决问题。该服务还提供了一系列检测器和规则，以便识别潜在的安全威胁。在演讲中，演讲者将通过一个使用OpenSearch的示例应用程序的调试过程，以及研究可能的安全问题，展示了如何运用OpenSearch。建议采用诸如OpenSearch之类的托管服务，将数据集中管理，并遵循社区标准。此外，还提供了大量资源，以帮助构建基于OpenSearch的安全和可观察性解决方案。

演讲原文

https://blog.csdn.net/littlechenlin/article/details/134800830

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。