Раскурить данные, посмотреть на ЖЭСы, например, топ20 лучших/худших

[gsk990]

Исходник: 115.netlify.com
Маппинг айди организаций https://docs.google.com/spreadsheets/d/1F6n2jTHt3hhgS8hQmxls1dkS-59W7FpO0VbItXq7R54/edit#gid=0

[nickolayka]

скрипт для PowerBI для открытия *.json в расширенном редакторе

let
Источник = Json.Document(File.Contents("F:\opendata.by 115.bel\2018.06.18 jsons\003-in-2017-01-01.json")),
items = Источник[items],
#"Преобразовано в таблицу" = Record.ToTable(items),
#"Развернутый элемент Value" = Table.ExpandRecordColumn(#"Преобразовано в таблицу", "Value", {"address", "category", "crm_create_at", "crm_date_planned", "date_create", "date_planned", "href", "id", "lat", "lng", "organisation_id", "photo", "rating", "status", "user"}, {"Value.address", "Value.category", "Value.crm_create_at", "Value.crm_date_planned", "Value.date_create", "Value.date_planned", "Value.href", "Value.id", "Value.lat", "Value.lng", "Value.organisation_id", "Value.photo", "Value.rating", "Value.status", "Value.user"}),
#"Развернутый элемент Value.user" = Table.ExpandRecordColumn(#"Развернутый элемент Value", "Value.user", {"id", "last_name", "middle_name", "name"}, {"Value.user.id", "Value.user.last_name", "Value.user.middle_name", "Value.user.name"}),
#"Развернутый элемент Value.category" = Table.ExpandRecordColumn(#"Развернутый элемент Value.user", "Value.category", {"icon", "id", "parent_id"}, {"Value.category.icon", "Value.category.id", "Value.category.parent_id"}),
#"Развернутый элемент Value.photo" = Table.ExpandRecordColumn(#"Развернутый элемент Value.category", "Value.photo", {"after", "before"}, {"Value.photo.after", "Value.photo.before"}),
#"Развернутый элемент Value.photo.after" = Table.ExpandListColumn(#"Развернутый элемент Value.photo", "Value.photo.after"),
#"Развернутый элемент Value.photo.before" = Table.ExpandListColumn(#"Развернутый элемент Value.photo.after", "Value.photo.before")
in
#"Развернутый элемент Value.photo.before"

данные будут на уровне заявки/фотографии, т.е. если в заявке 2 фотографии, то будет 2 записи

[nickolayka]

проверить маппинг заявок:

1. 6,372 - новая

2. вместо 21.30 должно быть 21.300

[nickolayka]

organisation_leftjoin.txt
маппинг организаций неполный - жэсов нет (

[nickolayka]

115dataset_2017_16_06_2018.zip

формат txt; разделитель tab

данные с 1 января 2017 по 16 июня 2018; подгружены имеющиеся расшифровки заявок и организаций

с января по май 2017 - малое количество записей - либо парсер не все забирает, либо 115бел не все отдает

[nickolayka]

нет даты фактического выполнения

[gsk990]

А можно посмотреть на цифры заявок по месяцам, чтобы оценить, есть ли "провалы" в данных? сайт 115 не отдаёт всех данных, мне кажется. но у нас есть архивы за прошлые периоды, я пытаюсь их сейчас собрать

[nickolayka]

или по категориям:

Названия строк	Дворовые территории	Инфраструктура города	Многоквартирные дома	Общий итог
2017
Январь	58	42	65	165
Февраль	137	115	54	306
Март	641	357	125	1123
Апрель	716	486	158	1360
Май	1215	877	587	2679
Июнь	2305	1220	2351	5876
Июль	1713	790	2360	4863
Август	1749	939	2753	5441
Сентябрь	1560	809	2706	5075
Октябрь	1769	816	5421	8006
Ноябрь	1445	873	3652	5970
Декабрь	1228	621	3081	4930
2018
Январь	1228	573	3309	5110
Февраль	772	546	2423	3741
Март	1962	1094	2619	5675
Апрель	3468	2057	2965	8490
Май	3367	2191	2731	8289
Июнь	1351	796	1142	3289

[gsk990]

@nickolayka Николай, а сложно было бы вывести список айди заявок, у которых приписаны эти организации? В заявке всегда можно на сайте просто зайти и спарсить название организации, например, вот в заявке 36628 внизу в "официальный ответ организации" видно название организации - УП "Зеленстрой Первомайского района"

http://115.xn--90ais/problem/36628

если будет список номеров заявок, то я из них возьму названия организаций и будет маппинг

Value.organisation_id,Таблица1.organisation_id,Таблица1.orgName,Количество Value.id
317,,,33
315,,,6
293,,,10
292,,,13
291,,,7
255,,,24
252,,,81
251,,,71
247,,,1605
246,,,1150
245,,,1100
244,,,757
243,,,1054
242,,,571
241,,,799
240,,,1107
239,,,881
238,,,1180
237,,,1026
236,,,1360
235,,,1368
234,,,986
233,,,1597
232,,,1120
231,,,1649
230,,,1
218,,,744
217,,,1636
216,,,972
215,,,847
214,,,130
213,,,1
210,,,5
209,,,64
208,,,15
207,,,1
206,,,38
204,,,17
203,,,5
201,,,1
195,,,14
193,,,3
192,,,1
187,,,10
179,,,63
162,,,480
160,,,280
159,,,774
155,,,285
154,,,185
152,,,561
151,,,214
150,,,1064
149,,,244
147,,,816
146,,,359
145,,,708
140,,,571
139,,,737
138,,,586
137,,,329
136,,,399
135,,,643
131,,,278
130,,,818
129,,,1255
128,,,606
127,,,1267
126,,,598
125,,,787
73,,,867
72,,,1027
71,,,863
70,,,959
69,,,662
68,,,843
67,,,433
66,,,505
65,,,482
64,,,308
63,,,571
4,,,1

[gsk990]

айди организаций - https://docs.google.com/spreadsheets/d/1F6n2jTHt3hhgS8hQmxls1dkS-59W7FpO0VbItXq7R54/edit#gid=0

[gsk990]

все заявки за 2015.11-2018.12, анонимизированные в одном архиве! @nickolayka
export115all-2015-2018.zip