关于立体匹配中图像相似性测度问题

Question

目前研究双目立体匹配算法，就是左、右图像中找出对应像素点，求出视差，生成稠密视差图。基于局部的立体匹配就是以待匹配点为中心像素，围绕该中心像素设定一个支持窗口，如上图中的矩形窗口，然后在右图中同一水平线上构造同样大小的矩形窗口，在预先定义的视差范围内滑动该窗口，并依次计算每个窗口的匹配代价，最小的那个定义为匹配点。匹配代价计算时最主要是衡量左右窗口的相似程度，例如常用的有AD（像素灰度差）、SD（像素灰度平方差）之类的，这些都是基于灰度的（若是R、G、B则分别求三通道），主观上认为左右窗口内每个对应像素的颜色差值之和越小，两个窗口就越相似，差值和最小的就是对应点。
有没有更稳定的，计算量和AD相当的像素相似性测度，通过区域聚集后代价函数最小来确定左右图像中对应像素的匹配，因为图像中可能有深度不连续区域、遮挡区域之类的，有没有更合理的联合匹配代价(联合的目的就是为了克服不同测度的缺点，取长补短)能克服这些因素照成的误匹配。
也看了一些图像检索的文章，觉得图像相似性判断的一些东西跟这个也有些类似，有没有做过这方面的高人给指点一下，给点好的建议。

Answer 1

我要生成的是图像上每个像素点的视差图，至于左图中的某个像素点对应右图中哪个像素点，只能靠最小化代价函数来确定。我想问的是：代价函数常用的相似性测度有AD,SD这一类，有没有更好的测度来衡量这个相似性，颜色矩、直方图差之类的

Answer 2

任何一种相似性度量都有它的作用。但是针对一些实际应用中的各种问题，比如两个相机的不一致性、标定误差的存在等等，都会遇到自己的问题。各自的优劣性也与cost aggregation的方式有关。推荐一篇讨论stereo matching中各种相似性度量的性能的文章，Evaluation of Stereo Matching Costs on Images with Radiometric Differences ，Hirschmuller, H.; Scharstein, D.，  Pattern Analysis and Machine Intelligence, IEEE Transactions on ， Volume: 31 , Issue: 9 

Answer 3

这篇文章看过，对15种代价函数进行比较，他的评测很详细，最后得出的结论第三点
Third, Census performed very well throughout all experiments
with simulated and real radiometric differences, except inthe
presence of strong image noise. Like all non-parametric matching
costs, Census tolerates all radiometric distortions that do not
change the local ordering of intensities. It was consistently better
than ZNCC and in almost all cases better than BilSub.
其实就是想集思广益看看别的图像处理方法中有没有一些好的想法，好的比较方法，测度相似度之类的能够被引入到立体匹配中来，因为有名的自适应权重立体匹配方法就是一个嫁接的好典范。