求给对方播放影音文件功能的实现方法

Question

给对方播放影音文件功能的实现方法最近要实现一个给对方播放影音文件功能的软件，影音文件格式目前以WAV做例子，以后会扩展到MP3、WMA等多种文件类型，平台是Windows平台，使用的的方法是waveInXXX和waveOutXXX等API函数。
现在的实现方法是这样的，在本方读取一个WAV文件，将WAV数据通过UDP发送给对方，对方接收到数据后放入缓冲区，然后调用waveOutWrite函数将声音播放出来。
现在的问题是由于在接收方开辟的缓冲区数量是一定的，如果本方WAV数据发送比对方播放得快则会接收方缓冲区用完而导致丢数据，如果本文WAV数据发送比对方播放得慢则会出现声音不连续情况，如何能够让双方比较配合地完成这一功能呢？
本方发送WAV数据对方回复这种交互方式不可用，因为本文可能会同时给多个接收方发送WAV数据。