FinalRelease中释放接口的问题

我用ATL做了一个不可见控件实现自定义的网络协议的服务器端.
组件包含两个接口, 一个是双重接口 A, 包含启动和停止网络服务的方法(Start/Stop); 还有一个接口 B, 用于加入GIT, 在网络帧听线程中调用组件的连接点的触发函数 Fire_xxx.
在组件中启动了一个网络帧听线程, 并将接口 B 注册到全局接口表, 在网络帧听线程中使用接口 B (应该是接口 B 的代理) 中的方法来触发连接点事件.问题来了:为了确保在组件注销时能释放所有资源, 我在 FinalRelease 中调用了组件的 Stop 函数来停止网络服务 (此函数内部会终止帧听线程, 将接口 B 从全局接口表中移除). 但是如果没有调用 Stop 方法而直接关闭容器程序, 由于网络帧听线程持有接口 B, 并且接口 B 在全局接口表中注册, 此时接口 B 的引用计数是 2. 因此容器此时调用控件的 Release 方法并不会造成控件的销毁, 控件的析构函数不会被调用, FinalRelease 也就不会被调用. 因此写在 FinalRelease 中的清理代码也就没有意义了.问题是
如果不能在 FinalRelease 中释放接口 B, 那么我应该怎么做才能确保容器关闭时正确的释放所有资源呢?