Часть инициативы ML4SG от ods.ai

english version

Что здесь происходит

Мы делаем инструмент для исследования развития со временем тем в текстах. Основной целевой набор текстов - русскоязычные новости, но методика и сам инструмент подходят для произвольного набора текстов.
(Проект переехал отсюда)

Концепт такой:

Ответы на все вопросы первым делом искать тут:

https://github.com/newsviz/newsviz/wiki

Тут документация по основному коду https://github.com/newsviz/newsviz/wiki/Инструкция-по-запуску

Структура репозитория

.
├── config/config.ini -- директория для конфигов
├── data/ -- на гитхабе только пустые папки будут, а так датка локально будет здесь во время запуска
│    ├── raw -- сырые данные
│    ├── processed -- токенизировано и лемматизировано
│    ├── classified -- после классификации
│    ├── topic_modelleded -- после ТМ
│    └── ready2viz -- бери и вставляй в визуалайзер
├── newsviz -- собственно основной код
│    ├── run.sh -- one ring to rule them all
│    ├── pipeline.py -- основной скрипт со всеми luigi тасками
│    ├── preprocessing_tools.py -- скрипты препроцессинга
│    ├── topic_model.py -- обёртка для тематической модели
│    └── vizualizer -- здесь будет лежать стандартный визуализатор
│        ├── app.py
│        └── utils.py
├── models -- папка для моделей по умолчанию
│    └── classifier
│        ├── clf.bin
│        └── feature_extractor.bin
├── topic_model
│        ├── model.bin
│        └── dictionary{classname}.txt
└──tests

Requirements

Python 3.6+

Contributing (Как участвовать в проекте)

См. contributing

Чем вы можете помочь

1. Посмотрите issues -- там должны быть расписаны актуальные задачи.
2. Помогите нам дополнить документацию и помочь другим разобраться в проекте.
3. Если ничего не понятно -- задайте вопросы, это приветствуется.

Родственные проекты

Big Data Indicators
Семантические сдвиги в русских новостях

English version

What's going on here

We are making a tool for researching the development of topics in the texts over the time. The main target set of texts is Russian language news, but the methodology and the tool itself are suitable for an arbitrary set of texts. (The project has moved from here)

The concept is this:

Look for answers to all questions here:

https://github.com/newsviz/newsviz/wiki

Main code documentation https://github.com/newsviz/newsviz/wiki/Инструкция-по-запуску

Repository structure

.
├── config/config.ini -- directory for configs
├── data/ -- on github this folder will be empty, but during the launch data will be here locally
│    ├── raw -- raw data
│    ├── processed -- tokenized and lemmatized
│    ├── classified -- after classification
│    ├── topic_modelleded -- after TM
│    └── ready2viz -- take and insert into the visualizer
├── newsviz -- the actual main code
│    ├── run.sh -- one ring to rule them all
│    ├── pipeline.py -- main script with all luigi tasks
│    ├── preprocessing_tools.py -- preprocessing scripts
│    ├── topic_model.py -- wrapper for topic model
│    └── vizualizer -- the standard visualizer will be here
│        ├── app.py
│        └── utils.py
├── models -- folder for default models
│    └── classifier
│        ├── clf.bin
│        └── feature_extractor.bin
├── topic_model
│        ├── model.bin
│        └── dictionary{classname}.txt
└──tests

Requirements

Python 3.6+

Contributing (How to participate in the project)

See contributing

How can you help

1. Look at the issues - actual tasks should be scheduled there.
2. Help us complete the documentation and help others understand the project.
3. If nothing is clear - ask questions, this is encouraged.

Related projects

Big Data Indicators
Semantic shifts in russian news

Contributions

В алфавитном порядке (in alphabet order).

• @Alf162
• @Avenon
• @BoardGamer44
• @Erlemar
• @IlyaGusev
• @iwooloowi
• @LanSaid
• @Midzay
• @Teoretic6
• @andreymalakhov
• @aprotopopov
• @buriy
• @darkzenon
• @iggisv9t
• @m12sl
• @marishadorosh
• @monuvio
• @orech
• @p-kachalov
• @vtrokhymenko

Здесь могло быть ваше имя (your name could be here).