[Bug]: Decreasing the value of metrics for regression problem

[aPovidlo]

Noticed that the performance of regression models running through PipelineBuilder has decreased compared to the previous version.

It is required to compare the last version of framework (0.7.1 or 0.7.2) on various regression models with the last one.

Looking through, I suspect that there were fixes related to regression or time series, or metrics that affected this.

[kasyanovse]

Как были получены эти результаты? В 0.7.3 есть изменения, связанные с валидацией на временных рядах в композиции.

[aPovidlo]

@kasyanovse Данные, которые указаны в таблице это запуски моделей Xgboostreg на мастере на начало декабря, а справа для новой реализации xgboost. Замечал подобное и в своих запусках, когда сравнивался со старой версией. Думаю, чтобы точно исключить причины понижения метрик из-за изменениях в бустингах, нужно проверить на других моделях, например, rfr.

Также можешь отправить PR с изменениями валидации? Будет как следующая отправная точка для распутывания проблемы.

[kasyanovse]

@aPovidlo
PR: #1116

Запуски в каких задачах?

[aPovidlo]

@kasyanovse XGBoost запускали на этих датасетах.

Свои запуски делал на Black Friday, но уже с CatBoost. Старая версия это 0.7.2, мастер актуальный на 10-ые числа января.

[kasyanovse]

Запуск - это для каждой версии:

1. Ручная сборка пайплайна из одного XGBoost
2. Обучение пайплайна
3. Расчет метрики
   Верно?

[aPovidlo]

Запуск - это для каждой версии:

1. Ручная сборка пайплайна из одного XGBoost
2. Обучение пайплайна
3. Расчет метрики
   Верно?

Да, именно так.