博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
网络媒体流的音视频同步
阅读量:6106 次
发布时间:2019-06-21

本文共 789 字,大约阅读时间需要 2 分钟。

一、音视频同步原理介绍      

      在多媒体采样/编码时,音频和视频都有一个固定的频率,比如视频以h264为例,其帧率是15F/S,音频以AAC为例,其采样率为44100,每帧含1024个sample,这样其帧率约为43F/S。这样,在理论上,每秒钟需要播放15帧视频数据和43帧音频数据。如果有一方播放速度过快或过慢,都会影响用户体验,这是音视频需要同步的原因。

二、实现方案简介

2.1两个时间参考点

要实现音视频同步,需要有两个时间参考点

(1)、编码时间参考点

     以第一个到达的视频帧时间戳作为编码参考时间戳enPreTime

(2)、解码时间参考点        

          以第一个视频帧到达时间作为播放参考时间playPreTime

2.2四个缓存队列

(1)视频接收缓存队列

(2)音频接收缓存队列

(3)视频播放缓存队列

(4)音频播放缓存队列

2.3同步实现步骤 

   具体实现方案如下:

(1).以第一个到达的视频帧时间戳作为编码参考时间戳enPreTime,并以到达时间作为播放参考时间playPreTime。在该时间(playPreTime)之前到达的音频帧,时间戳大于enPreTime的,放入缓存,小于enPreTime的,直接丢弃。

(2).周期性的从播放缓存内读取音视频数据,并用当前帧的时间戳与enPreTime做差,得到编码时间差,获取读取时间与上一播放帧的时间差,得到等待时间。

当等待时间>=编码时间差时,则,解码并播放。否则,将数据放到播放缓存。当播放缓存已空时,则该从接收缓存队列读取数据。并作与上相同的操作。

三、类似实现方案

本方案是以视频为驱动的实现方案,还有以音频为驱动的实现方案和无驱动同步方案,这里不一一做介绍,感兴趣的同仁可以自己研究一下其优缺点和适用场景。

 

转载于:https://www.cnblogs.com/liuxt/p/4727722.html

你可能感兴趣的文章
数据库运维平台~自动化上线审核需求
查看>>
注解开发
查看>>
如何用 Robotframework 来编写优秀的测试用例
查看>>
Django之FBV与CBV
查看>>
Vue之项目搭建
查看>>
app内部H5测试点总结
查看>>
Docker - 创建支持SSH服务的容器镜像
查看>>
[TC13761]Mutalisk
查看>>
三级菜单
查看>>
Data Wrangling文摘:Non-tidy-data
查看>>
加解密算法、消息摘要、消息认证技术、数字签名与公钥证书
查看>>
while()
查看>>
常用限制input的方法
查看>>
Ext Js简单事件处理和对象作用域
查看>>
IIS7下使用urlrewriter.dll配置
查看>>
12.通过微信小程序端访问企查查(采集工商信息)
查看>>
WinXp 开机登录密码
查看>>
POJ 1001 Exponentiation
查看>>
HDU 4377 Sub Sequence[串构造]
查看>>
云时代架构阅读笔记之四
查看>>