java socket语音传输问题

用socket进行多人语音传输，客户端发送通过服务器直接转发，
想在每一个发出的语音包前加上标识，（1个byte的编号即可）来代表发出语音包的客户端，在接收时按照编号将包中剩余语音内容写入对应的SourceDataLine。
然而在socket读取语音数据的时候直接将inputstream封装成了AudioInputStream然后再循环读取这样我加的一字节标识不就也被封装了么？
或者这个标识该怎么加?求指教！