视频播放器的解码缓存问题

请问谁做过视频播放器，功能是实现边下载边播放，播放端检测缓存中的数据，到达一定量就拿过来解码播放，每一帧的数据播放可以进行控制，请问解码完之后的缓存怎么设置？因为解码完后的数据应该是很大的而且回头去缓存中取数据的间隔会不会影响播放质量