微软开源新型数据处理系统 Drasi

  微软已经宣布开源一种名为 Drasi 的新型数据处理系统,可以检测并应对复杂系统的变化,简化在复杂基础设施中检测关键事件并根据业务目标立即采取行动的过程。

  “开发人员和软件架构师可以在事件驱动场景中利用其功能,无论是处理物联网 (IoT) 集成、增强安全协议还是管理复杂的应用程序”。目前,该项目已作为沙箱项目提交至云原生计算基金会 (CNCF)。

  微软称,开发人员在构建事件处理机制时经常需要拼凑多种工具,导致架构复杂且脆弱。此外,许多变化检测工具不具备实时功能,而是依赖于批处理、数据整理或延迟事件分析。

  “对于需要立即做出反应的企业来说,即使是这些轻微的延迟也可能导致错失机会或承担风险。简而言之,迫切需要一个全面的解决方案,可以检测和准确解释关键事件,并自动做出适当、有意义的反应”。

  Drasi 简化了动态系统中智能反应的自动化,提供了实时可操作的见解,而无需传统数据处理方法的开销。采用轻量级方法,通过观察日志和更改源中的事件来跟踪系统变化,而无需将数据复制到中央数据湖或反复查询数据源。

  开发人员可以定义他们想要跟踪的更改,然后 Drasi 决定更改是否应触发操作。“如果他们这样做,它会根据你的业务需求执行情境感知反应。这种简化的流程降低了复杂性,确保在数据最相关时及时采取行动,并防止重要变化被忽略”。

  总的来说,Drasi 可以归结为三个部分:来源、持续查询和反应。

  • 源连接到应用程序日志、数据库更新或系统指标等数据源,并持续监控关键变化。
  • 连续查询根据一些预定义的标准不断评估传入的变化。
  • 当更改完成连续查询时就会做出反应,并且可以包括发送警报、更新其他系统或执行补救步骤等任务。

  Drasi 的架构设计旨在实现两个集成点(Sources 和 Reactions)的可扩展性和灵活性。除了目前可用的预构建  Drasi Sources 和 Reactions(包括 PostgreSQL、Microsoft Dataverse 和 Azure Event Grid)之外,用户可以根据业务需求或系统要求创建自己的集成。

  更多详情可查看官方公告