谁能给我介绍点关于DirectShow 声音视频同步的文章和例子！ 非常感谢了顺便问问 DirectShow 的相关网站谁能跟小弟分享分享 解决方案 » 免费领取超大流量手机卡，每月29元包185G流量+100分钟通话, 中国电信官方发货 avi（pcl）文件就是视频和声音文件交错存放的，要同步，好象就是将每个数据包针的某个变量修改一下，以前做视频监控好象 做过，但是太早了，忘了，！！！！ 对了，你可以看看avi文件的数据格式说明，明白就没问题了。。 实在不行，就自己写数据文件，自己写分解程序，再写个filter肯定可以搞定 关键字 DirectShow Reference Clock Time Stamp 多媒体处理，不可避免地要解决音视频的同步问题。DirectShow是怎么来实现的呢？我们一起来学习一下。 大家知道，DirectShow结构最核心的部分是Filter Graph Manager：向下控制Graph中的所有Filter，向上对应用程序提供编程接口。其中，Filter Graph Manager实现的很重要一个功能，就是同步音视频的处理。简单地说，就是选一个公共的参考时钟，并且要求给每个Sample都打上时间戳，Video Renderer或Audio Renderer根据Sample的时间戳来控制播放。如果到达Renderer的Sample晚了，则加快Sample的播放；如果早了，则Renderer等待，一直到Sample时间戳的开始时间再开始播放。这个控制过程还引入一个叫Quality Control的反馈机制。下面，我们来看一下参考时钟（Reference Clock）。所有Filter都参照于同一个时钟，才能统一步调。DirectShow引入了两种时钟时间：Reference time和Stream time。前者是从参考时钟返回的绝对时间（IReferenceClock::GetTime），数值本身的意义取决于参考时钟的内部实现，利用价值不大；后者是两次从参考时钟读取的数值的差值，实际应用于Filter Graph内部的同步。Stream time在Filter Graph不同状态的取值为：1. Filter Graph运行时，取值为当前参考时钟时间减去Filter Graph启动时的时间（启动时间是通过调用Filter上的IMediaFilter::Run来设置的）；2. Filter Graph暂停时，保持为暂停那一刻的Stream time;3. 执行完一次Seek操作后，复位至零；4. Filter Graph停止时，取值不确定。 那么，参考时钟究竟是什么东西呢？其实，它只是一个实现了IReferenceClock接口的对象。也就是说，任何一个实现了IReferenceClock接口的对象都可以成为参考时钟。在Filter Graph中，这个对象一般就是一个Filter。（在GraphEdit中，实现了参考时钟的Filter上会显示一个时钟的图标；如果同一个Graph中有多个Fiter实现了参考时钟，当前被Filter Graph Manager使用的那个会高亮度显示。）而且大多数情况下，参考时钟是由Audio Renderer这个Filter提供的，因为声卡上本身带有了硬件定时器资源。接下来的问题是，如果Filter Graph中有多个对象实现了IReferenceClock接口，Filter Graph Manager是如何做出选择的呢？默认的算法如下：1. 如果应用程序设置了一个参考时钟，则直接使用这个参考时钟。（应用程序通过IMediaFilter:: SetSyncSource设置参考时钟，参数即为参考时钟；如果参数值为NULL，表示Filter Graph不使用参考时钟，以最快的速度处理Sample；可以调用IFilterGraph:: SetDefaultSyncSource来恢复Filter Graph Manager默认的参考时钟。值得注意的是，这时候的IMediaFilter接口应该从Filter Graph Manager上获得，而不是枚举Graph中所有的Filter并分别调用Filter上的这个接口方法。）2. 如果Graph中有支持IReferenceClock接口的Live Source，则选择这个Live Source。3. 如果Graph中没有Live Source，则从Renderer依次往上选择一个实现IReferenceClock接口的Filter。如果连接着的Filter都不能提供参考时钟，则再从没有连接的Filter中选择。这一步算法中还有一个优先情况，就是如果Filter Graph中含有一个Audio Render的链路，则直接选择Audio Renderer这个Filter（原因上面已经提及）。4. 如果以上方法都找不到一个适合的Filter，则选取系统参考时钟。（System Reference Clock，通过CoCreateInstance创建，CLSID为CLSID_SystemClock。） 我们再来看一下Sample的时间戳（Time Stamp）。需要注意的是，每个Sample上可以设置两种时间戳：IMediaSample::SetTime和IMediaSample::SetMediaTime。我们通常讲到时间戳，一般是指前者，它又叫Presentation time，Renderer正是根据这个时间戳来控制播放；而后者对于Filter来说不是必须的，Media time有没有用取决于你的实现，比如你给每个发出去的Sample依次打上递增的序号，在后面的Filter接收时就可以判断传输的过程中是否有Sample丢失。我们再看一下IMediaSample::SetTime的参数，两个参数类型都是REFERENCE_TIME，千万不要误解这里的时间是Reference time，其实它们用的是Stream time。还有一点，就是并不是所有的Sample都要求打上时间戳。对于一些压缩数据，时间戳是很难打的，而且意义也不是很大（不过压缩数据经过Decoder出来之后到达Renderer之前，一般都会打好时间戳了）。时间戳包括两个时间，开始时间和结束时间。当Renderer接收到一个Sample时，一般会将Sample的开始时间和当前的Stream time作比较，如果Sample来晚了或者没有时间戳，则马上播放这个Sample；如果Sample来得早了，则通过调用参考时钟的IReferenceClock::AdviseTime等待Sample的开始时间到达后再将这个Sample播放。Sample上的时间戳一般由Source Filter或Parser Filter来设置，设置的方法有如下几种情况：1. 文件回放（File playback）：第一个Sample的时间戳从0开始打起，后面Sample的时间戳根据Sample有效数据的长度和回放速率来定。2. 音视频捕捉（Video and audio capture）：原则上，采集到的每一个Sample的开始时间都打上采集时刻的Stream time。对于视频帧，Preview pin出来的Sample是个例外，因为如果按上述方法打时间戳的话，每个Sample通过Filter链路传输，最后到达Video Renderer的时候都将是迟到的；Video Renderer通过Quality Control反馈给Source Filter，会导致Source Filter丢帧。所以，Preview pin出来的Sample都不打时间戳。对于音频采集，需要注意的是，Audio Capture Filter与声卡驱动程序两者各自使用了不同的缓存，采集的数据是定时从驱动程序缓存拷贝到Filter的缓存的，这里面有一定时间的消耗。3. 合成（Mux Filters）：取决于Mux后输出的数据类型，可以打时间戳，也可以不打时间戳。大家可以看到，Sample的时间戳对于保证音视频同步是很重要的。Video Renderer和Audio Renderer作为音视频同步的最终执行者，需要做很多工作。我们或许要开发其它各种类型的Filter，但一般这两个Filter是不用再开发的。一是因为Renderer Filter本身的复杂性，二是因为微软会对这两个Filter不断升级，集成DirectX中其它模块的最新技术（如DirectSound、DirectDraw、Direct3D等）。 sdk文档写得很清楚，另外可以去看看hqtech.netease.com 怎么往一个RichEditCtrl控件中插入文本而不影响之前已有的文本格式 基础字符转换 求声音报警代码。 有没有人知道人鼻子的曲线方程，分成几段组合的也成！！！！ 机器B 从 机器A 得到一字符串？ 怎样控制IE打印？ visual c++ 的考试题目，明天要交了！ 我用boundschecker检查了我的程序，发现资源泄漏的地方全是mfc的错，怎么办？ 关于窗口背景的问题 怎样创建大位图? 我在程序中用了一个死循环，在关闭程序的时候提示“该程序没有响应”什么的，能不能截获这个消息？ 鄙视倒分的人，高分迷惑了我们初学者的眼睛，真的高手才不在乎分呢
多媒体处理，不可避免地要解决音视频的同步问题。DirectShow是怎么来实现的呢？我们一起来学习一下。
大家知道，DirectShow结构最核心的部分是Filter Graph Manager：向下控制Graph中的所有Filter，向上对应用程序提供编程接口。其中，Filter Graph Manager实现的很重要一个功能，就是同步音视频的处理。简单地说，就是选一个公共的参考时钟，并且要求给每个Sample都打上时间戳，Video Renderer或Audio Renderer根据Sample的时间戳来控制播放。如果到达Renderer的Sample晚了，则加快Sample的播放；如果早了，则Renderer等待，一直到Sample时间戳的开始时间再开始播放。这个控制过程还引入一个叫Quality Control的反馈机制。
下面，我们来看一下参考时钟（Reference Clock）。所有Filter都参照于同一个时钟，才能统一步调。DirectShow引入了两种时钟时间：Reference time和Stream time。前者是从参考时钟返回的绝对时间（IReferenceClock::GetTime），数值本身的意义取决于参考时钟的内部实现，利用价值不大；后者是两次从参考时钟读取的数值的差值，实际应用于Filter Graph内部的同步。Stream time在Filter Graph不同状态的取值为：
1. Filter Graph运行时，取值为当前参考时钟时间减去Filter Graph启动时的时间（启动时间是通过调用Filter上的IMediaFilter::Run来设置的）；
2. Filter Graph暂停时，保持为暂停那一刻的Stream time;
3. 执行完一次Seek操作后，复位至零；
4. Filter Graph停止时，取值不确定。
3. 如果Graph中没有Live Source，则从Renderer依次往上选择一个实现IReferenceClock接口的Filter。如果连接着的Filter都不能提供参考时钟，则再从没有连接的Filter中选择。这一步算法中还有一个优先情况，就是如果Filter Graph中含有一个Audio Render的链路，则直接选择Audio Renderer这个Filter（原因上面已经提及）。
4. 如果以上方法都找不到一个适合的Filter，则选取系统参考时钟。（System Reference Clock，通过CoCreateInstance创建，CLSID为CLSID_SystemClock。）
1. 文件回放（File playback）：第一个Sample的时间戳从0开始打起，后面Sample的时间戳根据Sample有效数据的长度和回放速率来定。
2. 音视频捕捉（Video and audio capture）：原则上，采集到的每一个Sample的开始时间都打上采集时刻的Stream time。对于视频帧，Preview pin出来的Sample是个例外，因为如果按上述方法打时间戳的话，每个Sample通过Filter链路传输，最后到达Video Renderer的时候都将是迟到的；Video Renderer通过Quality Control反馈给Source Filter，会导致Source Filter丢帧。所以，Preview pin出来的Sample都不打时间戳。对于音频采集，需要注意的是，Audio Capture Filter与声卡驱动程序两者各自使用了不同的缓存，采集的数据是定时从驱动程序缓存拷贝到Filter的缓存的，这里面有一定时间的消耗。
3. 合成（Mux Filters）：取决于Mux后输出的数据类型，可以打时间戳，也可以不打时间戳。
大家可以看到，Sample的时间戳对于保证音视频同步是很重要的。Video Renderer和Audio Renderer作为音视频同步的最终执行者，需要做很多工作。我们或许要开发其它各种类型的Filter，但一般这两个Filter是不用再开发的。一是因为Renderer Filter本身的复杂性，二是因为微软会对这两个Filter不断升级，集成DirectX中其它模块的最新技术（如DirectSound、DirectDraw、Direct3D等）。
另外可以去看看hqtech.netease.com