http://docs.opencv.org/doc/tutorials/imgproc/imgtrans/hough_circle/hough_circle.html - Преобразование Хафа (код)
http://robocraft.ru/blog/computervision/502.html - Преобразование Хафа (теория ??)
http://robocraft.ru/blog/computervision/640.html - Здесь можно почитать о нахождении границы. Бинаризация cvInRangeS();
http://habrahabr.ru/company/recognitor/blog/221891/ - Распознавание автомобильных номеров
http://habrahabr.ru/post/155651/ - детекция через SURF
В качестве темы предлагается задача автоматического подсчета суммарной стоимости монет на изображении. На вход подаются фотографии стола, на котором без пересечений разложены монеты. Нужно детектировать и подсчитать количество монет, и затем постараться оценить суммарное количество денег.
В качестве усложнения задачи стоит рассмотреть варианты с наложением монет. Существенным усложнением может является обобщение алгоритмов на случай работы с бумажными купюрами.