当前位置: 代码迷 >> 综合 >> 2020-09-23【学习笔记】【企业数据湖】三、Lambda架构:一种数据湖实现模式(1)
  详细解决方案

2020-09-23【学习笔记】【企业数据湖】三、Lambda架构:一种数据湖实现模式(1)

热度:31   发布时间:2024-02-21 23:29:06.0

一 、什么是Lambda架构

Lambda具有的要素:

  • 一套模式和标准。Lambda机构定义了一套面向大数据应用的模式和准则 。更重要的是,它允许同时查询历史数据和实时增长的数据。并且获得期望的分析视图。
  • 处理历史数据和实时数据
  • 技术无关和通用性。Lambda架构是一种通用的模式,完全不依赖于任何技术,而且任何技术只要能满足需求,都可以在Lambda架构中应用。
  • Lambda架构清楚的吧责任划分到不同的功能木块/层中。它按照层来划分职责,完美地遵循了设计模式中的关注点分离原则
  • 领域无关。作为一种通用的模式,Lambda架构可以应用于不同的业务领域

二、Lambda架构简史

Nathan Marz创造了Lambda Achitecture 这个术语,用于描述一种通用的、可扩展的容错的数据模式。该模式是一种概念:通过使用两个重要组件来处理海量数据。分别是批处理和快速处理层。Nathan把他的发现和经验概括为Lambda架构。该架构需要满足一些重要的设计模式:

线性可扩展原则

容错原则

backtype:读取和更新

可扩展原则

三、Lambda架构的原则

1、容错原则

2、不可变数据原则

3、重新计算原则