当前位置: 代码迷 >> 综合 >> 2020-09-25【学习笔记】【企业数据湖】三、Lambda架构:一种数据湖实现模式(3)
  详细解决方案

2020-09-25【学习笔记】【企业数据湖】三、Lambda架构:一种数据湖实现模式(3)

热度:55   发布时间:2024-02-22 20:41:53.0

七、Lambda架构的劣势

由于包含不同的层,Lambda架构被认为是复杂的。

由于批处理层和快速处理层都是分布的,且实现机制不同,维护和支持起来相当 困难

要构架基于Lambda架构的数据湖,必须掌握大量的技术

用开源的技术来实现Lambda架构并部署在云环境中并不容易

Lambda所用到的组件还都不太成熟,还在快速的迭代当中

持续集成/持续交付成为了一种平常的要求,但是Lambda中持续集成/.持续交付的工具也不成熟

系统假设可能需要大量的硬件组件

相同的工作要实现两次,批处理一次,流处理一次

八、Lambda架构技术概览

后续会有详细的讲解

九、应用Lambda

1、企业级日志分析

2、获取和分析传感器数据

3、电子邮件平台实时统计

4、实时赛事分析

5、推荐引擎

6、安全威胁分析

7、多渠道用户行为分析

十、Lambda架构运行范例

Twitter:用改良的Lambda架构用于推文的情感分析

Groupon:多类企业的应用

Crashlytics:使用Lambda架构的批处理层和快速处理层进行有效的移动端数据分析。产生有意义的分析结论。

十一、Kappa架构

Kappa是一个简化版的Lambda架构。放弃了批处理层,全部由流处理层来负责计算。主要解决了Lambda逻辑运算需要写两次的烦恼。