如何根据屏幕内容自动点击或按键

想写类似这样的一个程序，能自动帮我点击桌面上的某文件夹，然后再点击文件夹中记事本，然后在新建的记事本中用键盘输入一些字母。原理为如果桌面出现某文件夹的图标，就点击它，之后如果出现记事本的图标，再点击它，如果出现记事本界面，就模拟键盘输入一些字母。PS:要求根据屏幕内容执行键盘和鼠标操作，不能借助IO操作，适应不同分辨率。
假设这些需要判定的图标或内容我都有jpg截图文件，屏幕某部分出现跟截图相同的内容就算符合点击条件。目前分比较少稍后补上。