Зачетная работа по анализу данных (Вариант #4)

Задача

Написать программу для удаления выбросов и удалить выбросы.

Требования

1. Программа для обработки
2. Описание на страницу - как работает, какие результаты

Структура проекта

1. data - Папка с датасетами
2. raw - Папка для файла README.md
3. exam.ipynb - Реализация функционала удаление выбросов из датасета

Краткое описание блокнота

exam.ipynb

1. Импорт необходимых библиотек
2. Загружает датасет в массив и визуализируем его
3. Чтобы увидеть более хошоро, где могут быть выбросы вырезаем линейный тренд
4. Визуализируем полученный результат
5. Делим датасет на ровные части. В данном примере датасет поделен по 1%
6. Ищем среднее крадратичное отклонение и выявляем отклонения для каждой части датасета
7. Отделяет отдельно выбросы и датасет без выбросов
8. Заносим все в массивы

    outliers = [] # Выбросы
    outliers_removed = [] # Чистые данные

9. Визуализируем полученные результаты

Дополнительно

Были попытки найти выборосы кластеризатор DBScan

Результаты

Чистый датасет

Датасет с отмеченными точками которые попали под выброс

Датасет без выбросов

Датасет с выбросами

Попытка использовать кластеризатор DBScan