音视频直播技术——Android下H264解码-h264文件

音视频直播技术——Android下H264解码

前言

上一篇文章中我介绍了如何使用MediaCodec编码,今天我们再来分析一下如何通过 MediaCodec 进行解码。

为了讲解的方便,我们引入了 MediaExtractor 类。它用于打开MP4等媒体文件,并从中抽取出音视频数据。

科技

打开媒体文件

MediaExtractor,音视频数据分离器。每种媒体文件如MP4, FLV, MOOV等都是一种容器,里边存放了音频数据和视频数据。MediaExtractor的作用就是根据容器协议打开容器,并读取其中的音频或视频数据。

在容器文件(MP4)中,音频数据与视频数据是以轨道(track)的概念存放的。取的是两条轨道永远不相交的意思,也就指明音频数据与视频数据是分别存储的。

我们使用MediaExtractor类打开媒体文件,它的使用非常简单,步骤如下:

1. 创建一个MediaExtractor对象。

2. 将媒体文件设置给MediaExtractor对象。

3. 选定要处理的轨道。

我们先来看一下示例代码吧

音视频直播技术——Android下H264解码

通过上面的步骤我们就选好了要处理的视频轨。下面我们来创建解码器。

科技

创建解码器

在创建解码器之前,需要先通过 MediaExtractor 获取到要处理的视频轨的媒体格式(因为媒体格式中包括了 CSD-0/CSD-1 信息,这个信息对于解码非常重要)。然后通过媒体格式的 mime 信息创建解码器。

CSD-0/CSD-1 指的就是 H264中的 PPS 和 SPS。

另外,在配置解码器时,可以给它传入一个 Surface,这样解码器解码后,就可以直接将图像帧渲染到 Surface里了。代码如下:

音视频直播技术——Android下H264解码

解码

解码按如下步骤进行:

1. 从InputBuffer队列中取出一个空闲的InputBuffer。

2. 通过 MediaExtractor 对象从视频轨道中取出H264数据存到InputBuffer中。

3. 将InputBuffer放到InputBuffer队列中。此时需要解码的数据已经送入了解码器。

4. 从OutputBuffer队列中取OutputBuffer,如果能取到说明已经有解码好的数据了。

5. 最后调用releaseOutputBuffer释放OutputBuffer。此时OutputBuffer中的数据将被转成纹理进行渲染。

示例代码如下:

音视频直播技术——Android下H264解码

音视频直播技术——Android下H264解码

科技

小结

通过上面的介绍我们知道通过MediaCodec进行解码也非常的简单,主要是三大步:

  1. 创建视频解码器。

  2. 获取数据。今天我们是通过 MediaExtrator从文件中获取的。如果是直播系统,则是直接从网上获取数据。

  3. 在循环中不停的向解码器喂数据,并从解码器中取出解码后的数据。

参考

  1. H264编码

    科技

推荐阅读