-
Notifications
You must be signed in to change notification settings - Fork 86
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
Metrics fixes, tests, refactoring, typing improvement #1214
Conversation
Hello @MorrisNein! Thanks for updating this PR. We checked the lines you've touched for PEP 8 issues, and found:
Comment last updated at 2023-11-29 18:17:04 UTC |
fcd46c7
to
726f3ab
Compare
Codecov ReportAttention:
Additional details and impacted files@@ Coverage Diff @@
## master #1214 +/- ##
==========================================
+ Coverage 79.27% 79.42% +0.14%
==========================================
Files 145 145
Lines 10048 10045 -3
==========================================
+ Hits 7966 7978 +12
+ Misses 2082 2067 -15 ☔ View full report in Codecov by Sentry. |
# Time series forecasting | ||
is_ts_forecasting = reference_data.task.task_type == TaskTypesEnum.ts_forecasting | ||
if is_ts_forecasting or is_multi_target_regression: | ||
results, reference_data = cls.flatten_convert(results, reference_data) |
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
Почему убрана эта строка?
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
Потому что она преобразует мульти-таргет предсказания из матрицы в колонку. Вроде как для вычисления метрик нет такой необходимости.
Насчёт преобразования временного ряда из нескольких колонок в одну, мне кажется, тоже очень спорная логика. Но могу ошибаться
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
Потестировал. Все метрики толерантны к форме данных на входе.
b6c3c5f
to
beb6bbe
Compare
remove default value for metric_by_id
92d32b7
to
17073c1
Compare
17073c1
to
c34297d
Compare
@kasyanovse, вынес проблему с бинарной классификацией в отдельную issue. А пока что вынес этот случай в менее строгий тест. |
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
- Я добавил сид для теста метрик
- Убрал простой тест для бинарной классификации
- Убрал автоматическую перезапись результатов расчета метрик
- Перенес перезапись результатов расчета метрик после
assert
У меня небольшая проблема возникла, что в результате теста переписываются все метрики для временных рядов. Пока посмотрю из-за чего, потом аппрувну, если все будет ок.
Changes:
pipeline.predict()
from(1, N)
to(N)
for forecasting tasksMetricCallable
Metric