♻️ Заказчик: Компания Ренью.
📑 Цель проекта: разработать модель для трекинга объектов на конвейерной ленте мусороперерабатывающего завода.
- Задача проекта: Обучить трекер для отслеживания движущихся объектов (пластиковые бутылки разных типов) на ленте конвейера мусороперерабатывающего завода.
📌 Сроки проекта: 19/08/24 - 09/09/24.
💻 Стек технологий: cv2, ultralytics, YOLO8, BoT-SORT, ByteTrack, SORT, DeepSORT.
На мусороперерабатывающем заводе над конвейерной лентой установлена камера, которая фиксирует движение пластикового мусора. Данные в потоке передаются детектору и трекеру, которые определяют тип мусора и координаты bounding box.
Необходимо улучшить работу трекера:
- получить более точные координаты bounding box;
- обеспечить устойчивость прослеживания объекта без смены ID;
📌 Требования заказчика:
- в течении 2х недель разработать решение для отслеживания объектов на ленте конвейера;
- скорость обработки должна быть не более 100мс на кадр;
- добиться наилучшего значения метрики MOTA;
- подготовить отчет о работе.
⚒️ Работа велась в команде DS:
Консультант, вдохновитель и торопитель
Пример работы трекера DeepSORT:
Для улучшения работы отслеживания объектов на ленте было протестировано 4 трекера:
| Трекер | MOTA | Время обработки фрейма (мс) среднее/медиана на 250 фр |
|---|---|---|
| BotSORT | 0.9181 | 96 / 95 |
| ByteTrack | 0.5510 | 51 / 50 |
| SORT | 0.8774 | 62 / 59 |
| DeepSORT | 0.9649 | 66 / 64 |
Наилучшие показатели ключевой метрики были получены трекером DeepSORT.
Результат MOTA на всём размеченном участке (9000 фреймов) = 0.9553.
MOTA измерена с помощью motmetrics при гиперпараметре max_iou=0.5.
Опираясь на визуальный контроль, можно сказать что все испытанные трекеры хорошо справляются с задачей.
Однако, при смазанных видео трекинг значительно ухудшается: не идентифицируются многие объекты, теряются треки.
Специфика работы детектора приводит к тому, что в начале и в конце движения объекта треки меняют направление.
Трек находится в центре bbox'а. При появлении и исчезновении объекта габариты bbox'а меняются, и следовательно его центр.
Также одна из основных проблем процесса "отлова" объекта и переноса манипулятором в соответствующую корзину - перекатывание круглых предметов.
Рекомендации:
- применять трекер DeepSORT совместно с детектором YOLO;
- использовать чёткое несмазанное изображение; хорошо подсветить место работы камеры и контролировать чтобы был нормальный фокус;
- для передачи в манипулятор брать координаты после остановки объекта (трек - прямая) и не доходя некоторого расстояния до исчезновения объекта из кадра, например 10% от высоты изображения;
- необходима достаточно длинная лента, чтобы круглые объекты успевали остановиться; также можно применить рельефную ленту.