一、基本概念
1)ES
ES--Elementary Streams (原始流)是直接从编码器出来的数据流,可以是编码过的视频数据流(H.264,MJPEG等),音频数据流(AAC),或其他编码数据流的统称。ES流经过PES打包器之后,被转换成PES包。
ES是只包含一种内容的数据流,如只含视频或只含音频等,打包之后的PES也是只含一种性质的ES,如只含视频ES的PES,只含音频ES的PES等。每个ES都由若干个存取单元(AU)组成,每个视频AU或音频AU都是由头部和编码数据两部分组成,1个AU相当于编码的1幅视频图像或1个音频帧,也可以说,每个AU实际上是编码数据流的显示单元,即相当于解码的1幅视频图像或1个音频帧的取样。
2)PES
PES--Packetized ElementaryStreams (分组的ES),ES形成的分组称为PES分组,是用来传递ES的一种数据结构。PES流是ES流经过PES打包器处理后形成的数据流,在这个过程中完成了将ES流分组、打包、加入包头信息等操作(对ES流的第一次打包)。PES流的基本单位是PES包。PES包由包头和payload组成。
3)PTS、DTS
PTS--PresentationTime Stamp(显示时间标记)表示显示单元出现在系统目标解码器(H.264、MJPEG等)的时间。
DTS--Decoding Time Stamp(解码时间标记)表示将存取单元全部字节从解码缓存器移走的时间。
PTS/DTS是打在PES包的包头里面的,这两个参数是解决音视频同步显示,防止解码器输入缓存上溢或下溢的关键。每一个I(关键帧)、P(预测帧)、B(双向预测 帧)帧的包头都有一个PTS和DTS,但PTS与DTS对于B帧不一样,无需标出B帧的DTS,对于I帧和P帧,显示前一定要存储于视频解码器的重新排序缓存器中,经过延迟(重新排序)后再显示,所以一定要分别标明PTS和DTS。
4)PS
PS--Program Stream(节目流)PS流由PS包组成,而一个PS包又由若干个PES包组成(到这里,ES经过了两层的封装)。PS包的包头中包含了同步信息与时钟恢复信息。一个PS包最多可包含具有同一时钟基准的16个视频PES包和32个音频PES包。
5)TS
TS--Transport Stream(传输流)由定长的TS包组成(188字节),而TS包是对PES包的一个重新封装(到这里,ES也经过了两层的封装)。PES包的包头信息依然存在于TS包中。
TS流与PS流的区别在于TS流的包结构是固定长度的,而PS流的包结构是可变长度的。PS包由于长度是变化的,一旦丢失某一PS包的同步信息,接收机就会进入失步状态,从而导致严重的信息丢失事件。而TS码流由于采用了固定长度的包结构,当传输误码破坏了某一TS包的同步信息时,接收机可在固定的位置检测它后面包中的同步信息,从而恢复同步,避免了信息丢失。因此在信道环境较为恶劣、传输误码较高时一般采用TS码流,而在信环境较好、传输误码较低时一般采用PS码流。
6)TS单一码流、混合码流
单一性:TS流的基本组成单位是长度为188字节的TS包。
混合性: TS流由多种数据组合而成,一个TS包中的数据可以是视频数据,音频数据,填充数据,PSI/SI表格数据等(唯一的PID对应)。
二、基本流程
1)A/D转换后,通过MPEG-2压缩编码得到的ES基本流。这个数据流很大,并且只是I,P,B的这些视频帧或音频取样信息。
2)通过PES打包器,打包并在每个帧中插入 PTS/DTS标志,变成PES。原来是流的格式,现在成了数据包的分割形式。
3)PES根据需要打包成PS或TS包进行存储(DVD)或传输(DVB)。因每路音/视频只包含一路的编码数据流,所以每路PES也只包含相应的数据流。
附:
分享到:
相关推荐
MPEG-2视频编码概述兼谈ES,PES,PS,TS之间的关系
最全面的es,pes,ts互相转换 最全面的es,pes,ts互相转换 最全面的es,pes,ts互相转换
一篇PDF文档,内容包括TS流、包结构以及同步,参数监测。
完成ts到pes以及es的解析,有助于理解TS结构,具有参考价值
从TS文件中提取出音视频PES,ES,为多媒体开发者提供一个基础功能
TS流中PES ES抽取,其他抽取I帧需自己完善;童叟无欺 很值得研究。 研究TS中PES ES提取的做参考
实现了TS流的PAT、PMT表的解析以及多节目信息的提取,包括音视频PID、流类型等信息,并可以根据视频PID,抽取出相应的视频pes、es数据,整个代码由C++编写完成。
TS码流解析方便视频的朋友学习 TS码流解析方便视频的朋友学习
本文档主要介绍ES,PES,TS,以及它们的二进制格式
该播放器支持PS/TS流读取,支持从文件读取或从内存读取,支持从网络(用UDP)接收到PS/TS流,然后送到SDK 缓冲区进行读取和解析。有拆包、分离ES帧、解码视频ES帧的功能。下载前请阅读我博客上的文章:...
专门用来把打包成IP的数据发送到服务器上,这样有利于数据的分析和转换。
H264 的 ES流转TS流。
28181 ps流解析成es流,rtp包解析:包括 28181 ps流解析成es流 28181 rtp包解析 -> ps流 -> es流
TS流解复用完整示范,可获取PES数据,ES数据以及相关打印。
MPEG4,H264,多种音频,ES,PS,TS 互转及RTP发送
从ts流里面解出基本es流的代码参考。包含了如何解析ts流,如何去掉包头,取出视音频es流,从而用于解码播放的方法。
原始码流打包成ts流的源码,好不容易找到的
自己写的TS流提取ES流的代码,有参考网上资料,基本原创。代码基本可用。欢迎下载并提供意见。
源码,能将TS流解析出PES文件并保存,再将PES解析成ES文件并保存。支持音频,和视频ES的获取,非常实用,代码也可以用作参考。
MPEG4/H264/ ES,PS,TS 互转及RTP发送