实施 Microsoft Sentinel 数据湖以实现长期保留

实施 Microsoft Sentinel 数据湖以实现长期保留

2026 年 2 月 22 日

简介：安全数据保留的需求不断增长

到 2026 年，安全系统、网络和应用程序生成的数据量将达到指数级。收集和分析这些数据对于检测威胁、调查事件和维护安全态势至关重要。然而，长期保留安全日志面临着重大挑战，主要与成本以及有效访问和分析的能力有关[1]。

GDPR、LGPD、HIPAA 等合规性法规以及其他行业特定法规已发展到要求组织在越来越长的时间内维护安全日志，通常超过安全信息和事件管理 (SIEM) 热存储解决方案传统上提供的 90 天。将这些数据保存在高性能存储上多年可能会变得非常昂贵，迫使组织在合规性、调查能力和预算之间做出艰难的选择 [2]。

为了解决这一困境，微软推出了Microsoft Sentinel Data Lake，这是一种创新解决方案，允许组织以显着降低的成本存储大量安全数据，而不会影响快速搜索和分析功能。 Sentinel Data Lake 与 Microsoft Sentinel 无缝集成，通过利用低成本但仍可访问的 KQL（Kusto 查询语言）查询存储层，将其数据保留功能扩展到 Log Analytics 之外 [3]。

本技术和教育文章旨在指导安全分析师、数据架构师和 IT 管理员了解和实施 Microsoft Sentinel Data Lake。我们将介绍配置和管理安全日志长期保留的优势、先决条件和详细的分步指南，确保合规性和有效的调查能力。

日志保留挑战和 Sentinel 数据湖解决方案

出于以下几个原因，长期存储安全日志至关重要：

  • 监管合规性：许多行业和司法管辖区要求将安全数据保留多年，以用于审计和合规性目的。

  • 持续威胁调查 (APT)：高级持续攻击可能数月都未被检测到。历史数据对于威胁追踪和了解事件的完整时间表至关重要。

  • 取证分析：发生违规事件时，旧日志对于取证分析至关重要，有助于确定根本原因、危害范围以及攻击者采取的操作。

  • 趋势分析和态势改进：历史数据使安全团队能够识别攻击趋势，评估防御的有效性，并不断改进安全态势。

长期保留的主要障碍始终是 Log Analytics 中“热”存储的成本，该存储针对实时摄取和查询进行了优化。 Sentinel Data Lake 通过以下方式解决此问题：

  • 使用低成本存储：历史数据被移动到低成本存储层，例如 Azure Data Lake Storage Gen2 (ADLS Gen2)，它针对大数据量和偶尔访问进行了优化，但对于分析查询仍然具有可接受的性能 [4]。

  • 维护 KQL 查询功能：与需要完全重新水化数据才能查询的传统归档解决方案不同，Sentinel Data Lake 允许 Sentinel 直接对 ADLS Gen2 中存储的数据运行 KQL 查询。这意味着分析师可以访问和分析历史数据，而不会中断或出现严重延迟。

  • 简化管理：与 Microsoft Sentinel 的本机集成可根据定义的保留策略自动将数据从 Log Analytics 转换到 Data Lake，从而简化数据生命周期管理。

Microsoft Sentinel 数据湖操作原则

Sentinel Data Lake 的运作基于一些关键原则：

  1. 存储层：日志数据最初是并摄取到 Log Analytics（“热”层）中进行实时分析。经过一段可配置的时间后，它们会自动移动到 Azure Data Lake Storage Gen2（“冷”或存档层）。

  2. 开放格式：数据以开放格式（例如 Parquet）存储在 Data Lake 中，不仅允许通过 Sentinel 进行查询，还允许使用其他 Azure 分析工具（例如 Azure Synapse Analytics、Azure Databricks）进行更深入的分析或与其他系统集成。

  3. 统一查询：Microsoft Sentinel 具有统一的查询界面，分析师可以在其中运行 KQL 查询，涵盖 Log Analytics 中的“热”数据和数据湖中的“冷”数据，而无需知道数据的物理存储位置 [5]。

  4. 安全和治理：Data Lake 继承了 Azure 存储的安全功能，包括静态和传输中加密、基于角色的访问控制 (RBAC) 以及与 Azure Purview 的数据治理集成。

实施的先决条件

要实施 Microsoft Sentinel Data Lake，您将需要以下元素：

  • 活动 Azure 订阅：具有创建存储帐户资源和配置 Microsoft Sentinel 的权限。

  • 已配置 Microsoft Sentinel：已部署 Microsoft Sentinel 并收集日志的 Log Analytics 工作区。

  • Microsoft Sentinel 许可：Sentinel Data Lake 成本基于 ADLS Gen2 存储和查询运行，加上 Log Analytics 摄取和保留成本。

  • 管理访问权限：对 Azure 订阅和 Log Analytics 工作区具有贡献者或所有者权限的帐户。

分步指南：配置 Microsoft Sentinel Data Lake

配置 Sentinel Data Lake 涉及配置存储帐户以及与 Microsoft Sentinel 集成。

步骤 1：配置 Azure Data Lake Storage Gen2

Azure Data Lake Storage Gen2 是长期存储安全日志的基础。

  1. 创建存储帐户：在Azure门户中，搜索“存储帐户”，然后单击+创建。填写基本信息：

  2. 订阅：选择您的 Azure 订阅。

  3. 资源组：创建一个新资源组或选择一个现有资源组。拥有专门的安全资源资源组是一个很好的做法。

  4. 存储帐户名称：选择一个唯一的、全局唯一的名称（例如“sentinellakedata”）。

  5. 区域：选择与您的 Log Analytics 工作区相同的区域，以优化性能并最大限度地降低数据传输成本。

  6. 性能：选择标准（对于大多数归档用例）。

  7. 帐户类型：选择 StorageV2（通用 v2）。

  8. 冗余：选择最适合您的耐用性和成本要求的冗余选项（例如GRS用于高耐用性，LRS用于较低成本）。

  9. 启用分层命名空间：在创建存储帐户期间的高级选项卡中，确保“分层命名空间”功能处于启用。这是 ADLS Gen2 和 Sentinel Data Lake 功能的要求。

  10. 查看并创建：查看设置并单击创建。

步骤 2：将 Azure Sentinel 连接到数据湖

存储预配后，您需要将 Data Lake 与 Azure Sentinel 工作区集成。

  1. 转到 Microsoft Sentinel 门户：在 Azure 门户中，搜索“Microsoft Sentinel”并选择您的工作区。

  2. 导航到工作区设置：在 Sentinel 导航菜单中，转至 设置 > 工作区设置。

  3. 选择“数据保留和存档”选项：在工作区设置中，您将找到一个名为 “数据保留和存档” 的新选项（于 2026 年引入）。

  4. 连接数据湖：点击“连接数据湖”。界面将引导您选择您在步骤 1 中创建的 ADLS Gen2 存储帐户。Sentinel 将自动建立必要的权限。

步骤 3：定义数据归档策略

连接数据湖后，您现在可以定义将归档哪些日志表以及归档多长时间这。

  1. 选择日志表：在“数据保留和存档”部分中，您将看到纳入 Log Analytics 工作区的所有日志表的列表。选择要存档到数据湖的表（例如“SecurityEvent”、“SigninLogs”、“AzureActivity”、“Syslog”）。建议您存档关键安全日志以供合规性和调查之用。

  2. 在 Log Analytics 中设置保留时间：对于每个选定的表，在 Log Analytics 中设置“热”存储的保留时间（例如：30、60 或 90 天）。在此期限之后，数据将移至数据湖。

  3. 定义数据湖中的保留时间：接下来，定义数据湖中数据的保留时间（例如：1 年、3 年、7 年）。该期限必须符合您的合规性要求和内部数据保留政策。

  4. 保存更改：确认您的存档策略。在 Log Analytics 保留期结束后，Azure Sentinel 将自动开始将数据移至数据湖，无需手动干预。

Sentinel 数据湖监控和管理

  • 状态监控：Sentinel 提供监控仪表板来跟踪数据归档的状态，包括移动的数据量、任何错误以及数据湖中使用的存储空间。

  • 统一 KQL 查询：继续在 Azure Sentinel 中使用 Kusto 查询语言 (KQL) 查询数据。 Sentinel 抽象了存储位置，允许您的查询在“热”和“冷”数据上无缝运行。例如，查询“SecurityEvent |其中 TimeGenerate > ago(2y)` 将从 Log Analytics 和 Data Lake 中获取数据（如有必要）。

  • 成本优化：监控与 ADLS Gen2 相关的成本并根据需要调整您的保留策略。考虑在 ADLS Gen2 中使用不同的访问层（热、冷、存档），以进一步优化访问频率较低的数据的成本。

  • 数据湖安全：将 Azure 存储安全最佳实践应用于 ADLS Gen2，包括基于角色的访问控制 (RBAC)、数据加密、访问策略和活动监控。

结论

对于希望平衡长期合规性要求与管理安全数据存储成本的需求的组织来说，在 2026 年实施 Microsoft Sentinel Data Lake 是一项重要战略。通过扩展 Microsoft Sentinel 的保留功能并启用对低成本历史数据的统一 KQL 查询，Data Lake 使安全团队能够在不影响预算的情况下执行深入的取证调查、持续的威胁搜寻并保持法规遵从性。采用此解决方案不仅仅是合规问题，而且是在不断变化的威胁环境中加强网络弹性和事件响应能力的战略决策。

参考文献

[1] 微软技术社区。 “每月新闻 - 2026 年 4 月。”网址：https://techcommunity.microsoft.com/blog/microsoftthreatprotectionblog/monthly-news---april-2026/4508050 [2] 云那． “2026 年 Azure DevOps 和安全路线图：技能和认证。”网址：https://www.cloudthat.com/resources/blog/azure-devops-and-security-roadmap-for-2026-skills-and-certifications/ [3] 微软学习。 “Microsoft Defender for Endpoint 中的新功能。”位于：https://learn.microsoft.com/en-us/defender-endpoint/whats-new-in-microsoft-defender-endpoint [4] 微软Azure。 “Azure 数据湖存储 Gen2。”位于：https://azure.microsoft.com/en-us/products/storage/data-lake-storage [5] 微软学习。 “从 Azure Synapse Analytics 查询 Azure Data Lake Storage Gen2 中的数据。”位于：https://learn.microsoft.com/en-us/azure/synapse-analytics/sql/query-data-lake-storage-gen2