多线程服务程序如何刷新内存

我最近写了一个服务器程序,里面用到一个线程
处理本地数据的,程序大小为1.35M,启动后内存会不断增长,但是增长比较缓慢,但是最大不会超过6M,但是因为程序是托盘形式在运行,有时候双击程序显示住窗体,内存会突然升一下,增长大概几百K的样子,然后迅速下降到900多K,但是如果不动,一直升到5.5M左右,不再升了
请各位高手帮忙分析一下原因