264包括VCL（视频编码层）和NAL（网络提取层），VCL包括核心压缩引擎和块、宏块和片的语法级别定义，它的设计目标是尽可能地独立于网络进行高效编码；NAL则负责将VCL产生的比特字符串适配到各种各样地网络和多元环境中，它覆盖了所有片级别以上的语法级别，同时支持以下功能：支持独立片解码；起始码唯一保证；支持SEI；支持流格式编码数据传送。
总体来说，NAL解码器负责将符合264规范的压缩视频流解码，并进行图像重建。大致流程为：从NAL中接受压缩的比特流，经过对码流进行熵解码获得一系列量化参数X；这些系数经过反量化和反变换得到残差数据D；解码器使用从码流中解码得到的头信息创建一个预测块PRED，PRED与残差数据D求和得到图像块数据uF；最后每个uF通过去方块滤波得到重建图像的解码块F。
如果是解码一帧图形的完整解码过程，是下面图这样的
各个框的具体内容在后面会不断介绍。