Actualized the set of candidate models for composing

[nicl-nno]

Some model (e.g. LDA/QDA, SVC, etc) looks redunant since they are rare candidates in optimizer chains.
The best practices should be derived from state-of-the-art frameworks (TPOT, etc) to remove non-effective and add new models.

The 'old' models can be saved as an alternative variant of repository.json

[nicl-nno]

The following list can be used as initial assumption:
https://github.com/Ennosigaeon/dswizard/blob/master/ida/appendix.pdf

[kasyanovse]

Текущий список моделей (неполный):

Регрессия

• XGBRegressor
• AdaBoostRegressor
• GradientBoostingRegressor
• DecisionTreeRegressor
• ExtraTreesRegressor
• RandomForestRegressor
• SklearnLinReg
• SklearnRidgeReg
• SklearnLassoReg
• SklearnSVR
• SklearnSGD
• LGBMRegressor
• CatBoostRegressor
• LinearRegRANSACImplementation
• NonLinearRegRANSACImplementation
• LinearRegFSImplementation
• NonLinearRegFSImplementation
• DecomposerRegImplementation
• IsolationForestRegImplementation
• FedotKnnRegImplementation

Классификация

• XGBClassifier
• SklearnLogReg
• SklearnBernoulliNB
• SklearnMultinomialNB
• DecisionTreeClassifier
• RandomForestClassifier
• MLPClassifier
• LGBMClassifier
• CatBoostClassifier
• LDAImplementation
• QDAImplementation
• FedotSVCImplementation
• FedotCNNImplementation
• FedotKnnClassImplementation

Кластеризация

• SklearnKmeans

Предобработка

• ScalingImplementation
• NormalizationImplementation
• ImputationImplementation
• PCAImplementation
• KernelPCAImplementation
• PolyFeaturesImplementation
• OneHotEncodingImplementation
• LabelEncodingImplementation
• FastICAImplementation

Работа с текстом

• TfidfVectorizer
• CountVectorizer
• TextCleanImplementation
• PretrainedEmbeddingsImplementation

Работа с временными рядами

• ARIMAImplementation
• AutoRegImplementation
• STLForecastARIMAImplementation
• ExpSmoothingImplementation
• CGRUImplementation
• PolyfitImplementation
• GLMImplementation
• RepeatLastValueImplementation
• NaiveAverageForecastImplementation
• LaggedTransformationImplementation
• SparseLaggedTransformationImplementation
• TsSmoothingImplementation
• ExogDataTransformationImplementation
• GaussianFilterImplementation
• NumericalDerivativeFilterImplementation
• CutImplementation

[kasyanovse]

Предлагаю уменьшить количество моделей для композиции. Основная мотивация - сократить пространство поиска оптимального пайплайна. Логика устранения: тяжелые или дублирующие друг друга модели.

1. Для регрессии:
   1. SklearnLinReg - отлично заменяется SklearnRidgeReg
   2. SklearnSVR - слишком задачезависимо
   3. CatBoostRegressor - уже отключен
   4. XGBRegressor - уже отключен
   5. ExtraTreesRegressor - по сути тот же RandomForestRegressor
   6. DecisionTreeRegressor - RandomForestRegressor более эффективен
   7. GradientBoostingRegressor - LGBM значительно быстрее, а реализует тот же принцип
   8. AdaBoostRegressor - еще один небыстрый бустинг на деревьях. Можно заменить на LGBM. (а точно ли?)
   9. NonLinearRegRANSACImplementation - небыстрый алгоритм.
2. Для временных рядов:
   1. ARIMAImplementation - сложно настраивать, эффективна только для ограниченного круга рядов
   2. CGRUImplementation - ресурсозатратно при невысокой эффективности
   3. SparseLaggedTransformationImplementation - можно сделать частью LaggedImplementation
   4. CutImplementation - очень специфический инструмент, который лучше всего использовать при ручном конструировании пайплайнов
   5. TsSmoothingImplementation, GaussianFilterImplementation - лучше всего реализовать один класс фильтров с параметром, регулирующим тип фильтрации
   6. NumericalDerivativeFilterImplementation - медленный, редко бывает полезен

[kasyanovse]

The best practices should be derived from state-of-the-art frameworks (TPOT, etc) to remove non-effective and add new models.

Я глянул списки моделей в TPOT и AutoGluon. Там очень много моделей, однако не понятно, все ли из них используются при подборе решения.

[kasyanovse]

Наиболее оптимальный вариант, кмк, создать укрупненные operations, отвечающие за классы моделей. Например, operation, отвечающие за леса, за градиентные бустинги, за линейные модели, и т.д.. На этапе композиции использовать эти operations, а на этапе тюнинга выбирать конкретную модель. Так получится использовать большой пул моделей без излишнего раздувания пространства поиска оптимальной структуры пайплайна.

[kasyanovse]

Linked: #1217

[nicl-nno]

Moved to #1339.