关于java UI 坐标系的讨论

关于java UI 坐标系的讨论问题背景：
    继承一个panel类，画出一个地图背景；
    在一个frame中添加这个panel；
    对panel中的背景平移重绘；
    根据鼠标点击，动态添加一个button  >>>>
问题：
    当我们不移动背景时，添加的按钮位置正常。
    移动背景以后，添加的按钮位置偏离鼠标点击位置。参看打印信息后，得出布局管理器的坐标和鼠标事件所得坐标不一致。那是为什么呢？
要怎么解决呢？