Дива -- не прочесть тайну

[oude_rus]

Про бимодальную динамику явки в Москве. После Н.Новгорода и Самары мы уже как-то поверили, что бимодальное распределение явки - это трололо и вообще очень интересно.
А в Москве, как известно, явка как раз бимодальная. Ну я и посмотрел, что у нас будет в течение дня:

Зеленые точки - это как раз обещанная бимодальная официальная явка на 20:00. Бимодальность, конечно, не очень выражена, но любой спектроскопист вам скажет, что тут две линии. Но вот какая незадача: на 18:00 явка... опять бимодальная. И на 15:00.  И на 12:00. И даже на 10:00 видно небольшое крылушко.

Но - еще раз - конраста, чтобы ясно разделить два распределения, не хватает, поэтому придется немного помоделировать. Первая идея - а давайте сфитим линии двумя гауссами - не проходит, поскольку параметры одного гаусса могут компенсироваться параметрами другого. Фит нестабилен; нужны дополнительные условия. Я взял такие:
а). Есть два суб-ансамбля участков, которые голосуют с разной скоростью
б). Между суб-ансамблями нет перемешивания, т.е. полное количество участков внутри одного суб-ансамбля не меняется со временем
в). Фитуются все кривые одновременно (глобальный фит)
Результаты показаны на рисунке сплошными линиями. Получилось неожиданно (для меня) неплохо, посколько обычно подобные фиты норовят-таки разъехаться (а я их очень много переделал).

Теперь мы можем взять положение каждого гаусса во времени (что дает наиболее вероятную явку) и отложить ее как функцию времени, вместе со стандартным отклонением (рисунок наверху в углу). И - страшное дело - два суб-ансамбля выборщиков прекрасно прослеживаются с самого утра. Обычные избиратели имеют явку где-то 5% в час (примерно как в Н.Новгороде), активные - около 6.5%. Зависимости -- если не считать наклона -- примерно одинаковые, с разницей между ними, которая растет примерно линейно со временем. И да, мы уже знаем, что активные избиратели в основном голосуют за любимую партию, но в Москве они это делают не в последние 2 часа, а в течение всего дня.

Я, кстати, проверил гипотезу "выбросов" -- т.е. когда, например, с 10 до 12 на участке идет большой скачок явки, а потом явка замедляется до обычных 5% в час. Если таких скачков много и они происходят в разные времена, то они размажутся, и получится плавная кривая с увеличенным наклоном. Так вот, ничего, голимый ноль: скачки есть, но они ни с чем не коррелированы.

UPD Добавил распределения по участкам с КОИБами (тоненькие линии). В общем, мало что прояснилось. Они, конечно, тяготеют к низкой явке, но не совсем. Если посмотреть на средние (тут я просто считал первый момент, без фита), то на 15:00 явка аккурат посередке (звездочки), и понятно, из-за чего -- из-за длинного хвоста. А вот на 20:00 явка нормализуется, и почти совпадает с "медленными" уиками.


Как внутри огромной Москвы могли оказаться два четко выраженных типа избирателя, я не понимаю. Было бы одномодальное распределение, пусть и широкое, и не гауссовое, -- было бы понятно, а так -- нет. Что же это за два типа избирателя? Прямо тайна какая-то. Есть идеи?

Comments

[corbulon.livejournal.com]

Надо все же где-то сказать, в какую популяцию входят закоибленные участки.
И в какую - те участки, на которых младшие волшебники тренировались писать свои протоколы.

[oude-rus.livejournal.com]

я все это довольно давно сделал, просто руки вывесить не доходили.
тогда сделать то, что ты просишь -- это была целая песня.
со свежим файлом будет, наверное, проще с коибами.
попозже сделаю, спасибо за предложение.
а младших волшебников искать, если честно, лень.

[asund.livejournal.com]

Как вариант, если говорить о популяциях - посмотреть то же самое хотя бы по округам (если не в отдельно взятом Свиблово). Мы знаем, что в СЗАО и СВАО любимую партию любят не так сильно, как в остальных.

[oude-rus.livejournal.com]

я смотрел разумеется. с первого взгляда там ничего не видно -- ну, распределения, ну широкие. А такого, что здесь широкие, а здесь узкие, я не нашел.
статистики не хватает.

[sergey_cheban]

У меня две гипотезы:
1. Волшебство Чурова в принципе позволяет рисовать кривые любой формы. Если бы он был волшебником, то нарисовал бы гаусса. Но он только учится, и пока научился лишь размазывать вбросы по времени.
2. В некоторые УИКи были внедрены люди, но не вбрасывающие бюллетени после вскрытия урн, а выдающие бюллетени "активным избирателям". Т.е. вброс фактически происходил не одномоментно, а был размазан во времени. Что и видно в статистике.

[saccovanzetti.livejournal.com]

2. по моим прикидкам, таких УИКов где-то 25%, а на графиках площадь под соседними гауссами примерно одинаковая - то-есть в каждом втором УИКе жулики? маловероятно.

[oude-rus.livejournal.com]

по п2 -- это как-то сложно звучит.
я, кстати, проверил на "выбросы" -- т.е. когда, например, с 10 до 12 идет большой скачок, а потом снова медленно -- если таких скачков много и они происходят в разные времена, то они размажутся, и получится плавная кривая с увеличенным наклоном.
Так вот, ничего, голимый ноль.

два четко выраженных типа избирателя

[vasja-iz-aa.livejournal.com]

это у Вас дырка в логике. четко выраженые два типа [избирателя] -- это мужчины и женщины; или например математики и гуманитарии. Каждый [избиратель] может быть легко отнесен к своему типу, промежуточные варианты хоть встречаются, но пренебрежимо редки и экзотичны. А у Вас на графике промежуточночного типа [избирателя] сравнимое количество с любым из "чистых" вариантов

Re: два четко выраженных типа избирателя

[oude-rus.livejournal.com]

если я могу различить спектральные линии -- их две.
ну да, будут смешанные состояния, и что?

[neiztvoegorebra.livejournal.com]

"Ведомости" сегодня написали про Гаусса: http://www.vedomosti.ru/opinion/news/1479180/normalnoe_raspredelenie_ne_dogma

[oude-rus.livejournal.com]

с одной стороны, мужик стучится в давно открытую дверь.
с другой, приводя в пример мажоритарную Великобританию, он показывает, что слегка не в теме.

[in-kant.livejournal.com]

Подожди, а ты уверен, что корректно говорить о двух типах избирателей? Может быть, было бы правильно сказать о двух четко выраженных типах УИКов (причем в пропорции почти 1:1)?

[oude-rus.livejournal.com]

ну на уиках-то голосует избиратель, верно?
или мы говорим об уиках, которые голосуют сами по себе?

[asund.livejournal.com]

Тогда черт его знает, что это такое.
Еще вариант. Есть два типа председателей УИК. Первый ведет точный учет и дает точные данные по явке. Второй задолбался (что, кстати, немудрено) и дает примерную явку с некоторым округлением "вверх". Почему - понятия не имею, психология какая-то работает. Я бы тоже округлял вверх.

[oude-rus.livejournal.com]

тогда последний сегмент был бы с отрицательной производной: никакая "явка" на 20:00 не существует, это итоговая явка официального протокола.

[jemmybutton.livejournal.com]

Два типа участков, между которыми распределены неслучайно избиратели, точнее. и при этом известно что вроде есть корреляция между явкой и голосами за ЕР без переписывания протоколов. Если эта корреляция есть весь день, то это может быть северо-запад и юго-восток, грубо говоря http://russian-election.appspot.com/?

[oude-rus.livejournal.com]

запросто.
только непонятно, откуда подобное распределение берется именно на уровне участков.
по округам я смотрел, ничего не нашел.
может, и недосмотрел, конечно.

[corbulon.livejournal.com]

ты помнишь, что эти два кластера, две популяции и два оркестра ансамбля ведут себя по-разному, если смотреть на число недействительных и даже совсем на невинные вещи: на число проголосовавших по открепительным.

[oude-rus.livejournal.com]

и что?
я могу сказать больше: активный кластер преимущественно голосует за любимую партию.
собственно, это 5го декабря уже было установлено.
но голосуте-то в течение всего дня.
что, тут есть криминал?

Двугорбая Москва

[andirect.livejournal.com]

Выскажу свои соображения по поводу двугорбости.

Предположим, что исходное распределение явки соответствовало нормальному закону распределения. Среднее значение примем равным 47%. Этот процент получен Шпилькиным по одноимённому методу. СКО примем 3,5% (из консультаций с ним же, по итогам предыдущих выборов). Будем рассматривать не распределение участков по явке, а распределение голосов на этих участках (что правильнее).
Теперь предположим, что на некоторых участках производился вброс, скажем 5% бюллетеней. При этом имеющиеся голоса переместятся на 5% вправо по оси явки, и к их количеству прибавятся эти 5%. Гауссиана при этом растянется вправо по оси явки.
Зная исходное (предположительно) и конечное распределение голосов, можно подобрать параметры распределения этого вброса таким образом, чтобы эти распределения максимально соответствовали друг другу.

Выглядит это всё так, для Москвы:

Распределение вброса (процентное значение количества участков, на которых был применён вброс определённого % бюллетеней) показан светло-коричневой кривой с маркерами-крестиками. Сглаженная кривая получилась (подобрана) для уменьшения СКО отклонения от показанной явки.
Хотя распределение вброса идёт от 0%, удобно строить его от максимума гаусианы (что и сделано), тогда пики распределения соответствуют пикам показанной явки, поскольку максимальное воздействие оказывают на максимум гаусианы. Левая горизонтальная часть кривой соответствует 12,2% участков, на которых вбросы не привели к переходу в другой разряд гистограммы.

Видно, что результирующая двугорбая кривая не была результатом какого-то одного процента вброса, вполне себе распределённый вброс, что-то вроде спектрограммы с пиками через 4-5%. (100 вброшенных бюллетеней при размере участка 2100 человек увеличивают явку на 4,8%)

Это построено для окончательной явки, но, при наличии данных промежуточной явки с раскладкой по участкам, можно было бы провести аналогичный анализ и для этих случаев.

Идея вышеизложенного в том, что не обязательно искать несколько разных голосующих групп избирателей, всё неплохо объясняется разбросом вброса на разных участках.

Re: Двугорбая Москва

[oude-rus.livejournal.com]

1. что отложено по вертикальной оси?
2. откуда взялась коричневая кривая?

[vladislav-01.livejournal.com]

Может, всё проще? В Москве решили заранее (или уже после подведения итогов) "размазать" высокую явку, чтобы всякие критиканы не стебались потом на тему, как 1000 избирателей пришли на участок с 18 до 20 часов (и голосовали со скоростью 8 человек в минуту)?

[oude-rus.livejournal.com]

слишком сложно, хотя и не невозможно.

[sergey_cheban]

Кстати. А участки, на которых наблюдатели жаловались на нарисованные протоколы - они из какого ансамбля? Если из "активного" то активность, вероятно, нарисовал Чуров, по линеечке увеличив все данные на какой-то коэффициент (свой для каждого участка).
Кстати, при таком подходе, наверное, могут появиться какие-то "запрещённые" значения опубликованной явки, которые нельзя получить умножением целочисленной явки на частное от деления "нарисованной" окончательной явки и фактической окончательной явки. Ну, например, если фактически на участок к 20:00 явились 10 человек, Чуров нарисовал 40, а все значения промежуточных явок домножил на 40/10, то явка 1, 2, 3, 5, 6, 7 на 10:00 у него в принципе не могла получиться, а вот 0, 4 или 8 - пожалуйста.
Нельзя ли из этого что-нибудь выжать, по аналогии с пятипроцентными пиками? Ну, например, можно было бы для каждого участка найти множество тех количеств приписанных бюллетеней, при которых одновременно возможны все опубликованные значения промежуточных явок. А потом посмотреть, укладываются ли в эти множества данные из протоколов наблюдателей.
Ну и нужно учесть разные варианты округления.

[barouh.livejournal.com]

засада в том, что промежуточная явка считается в процентах от предполагаемом на момент начала голосования количества избирателей (которое притом нигде не публикуется!), а финальная явка - от итогового количества избирателей, которое может отличаться как в большую, так и в меньшую сторону

[kobak.livejournal.com]

Остался неподнятым вопрос о том, почему второй пик не расплывается в ширину после 15 часов, в отличие от первого.

[oude-rus.livejournal.com]

не расплывается, только двигается.
но тут, может, уже точности не хватает.

[poulsam.livejournal.com]

Хм, это было самое главное распределение 5-го декабря, именно бимодальность избирателя Москвы кричала громче всех

[oude-rus.livejournal.com]

нет, речь шла про другое распределение - конечного голосования за любимую партию. Там пики гораздо более выражены, и второй пик имеет резкий подъем после 50%, а потом экспоненциальный (типа) спад.

ну и на гистограмме процент за - явка тоже отлично видны 2 кластера.

[barouh.livejournal.com]

4 возможных объяснения:

1) данные по промежуточной явке корректировались постфактум, чтобы давать естественное распределение голосов по часам. Я 4-го снял только данные по ТИКам, не по отдельным участкам. На уровне ТИКов особых расхождений не видно, но стоит посмотреть внимательнее

2) количество избирателей в итоговом протоколе подгонялось под вторую модальную явку (под сумму фактически проголосовавших и планируемых приписок, деленную на вторую модальную явку). Математически и организационно сложно, но стоит вспомнить, что многие наблюдатели отмечали, что в УИКах старательно избегали контроля за списками избирателей при подсчете количества избирателей и проголосовавших

3) масштабная карусель, охватившая примерно половину города. Мне верится с трудом

4) реальные различия в активности избирателей. Тоже верится с трудом. Непонятно, с чего эти различия могли бы привести к подобной бимодальности

[corbulon.livejournal.com]

Взгляни сюда:
http://corbulon.livejournal.com/90781.html

[poulsam.livejournal.com]

бимодальность почасовой явки может быть обьяснена разве что планомерной припиской после каждого часа на одних участках на некую величину, (природа которой нам недоступна :)) и неприписыванием на других. Собственно результаты говорят о том же - в Москве два типа УИКов. Почему два - потому, естественными причинами это обьяснить невозможно

[barouh.livejournal.com]

Естественные причины действительно найти трудно. Но и в версии с планомерной припиской есть один большой изъян: почему и по каким критериям было заранее решено, что на одних участках будут приписки, а на других приписок не будет? Почему приписки явки в течение дня не были повсеместными? И как удалось так гладко предсказать, на каких именно участках удастся накачать явку?

У меня ответа нет. И у Максима, как я понимаю, тоже нет

[asund.livejournal.com]

На всякий случай сюда копирую, чтобы не потерялось.

http://files.mail.ru/VEKNJS

сводная таблица выборов по Москве с адресами УИК и описаниями участков, в форматах ODS и CSV, сведена из данных ЦИК и мосгоризбиркома.

[oude-rus.livejournal.com]

здорово.
надо подмосковнику сообщить, он такие вещи коллекционирует.

[jemmybutton.livejournal.com]

Проверил тут как поменялась численность избирателей по ТИКам с 2007 года и как эти изменения коррелируют с изменениями результатов. И по России в целом и по М-ве в частности наблюдается хорошая положительная корреляция между изменением доли голосов за ЕР и списочной численности избирателей по ТИКам (а изменение численности избирателей, в свою очередь, хорошо коррелирует с изменением населений регионов с 2002 по 2010 год). Тут для Москвы http://pics.livejournal.com/jemmybutton/pic/00051wxh/ изменение голосов за ЕР (процентов, не абсолютных величин) от изменения числа избирателей, а тут http://pics.livejournal.com/jemmybutton/pic/00052h53/ — явки. У меня еще висят картинки по стране в целом. Не уверен насколько это может иметь отношение к «ансамблям», но может что-то можно тут покопать.

[barouh.livejournal.com]

Визуальное ощущение - что вся корреляция обеспечивается 4районами, в которых численность избирателей выросла больше чем на 15% и в которых явка и голосование за ЕР выше среднего. Что это за районы?

Кстати, на первом графике хорошо видна очередная бимодальность - изменения поддержки ЕР. А вот для явки четкая граница между двумя типами районов не видна

[barouh.livejournal.com]

А я вот посмотрел сейчас X-Y графики, сравнивающие явку в соседние по времени срезу (10.00 и 12.00, 12.00 и 15.00, 15.00 и 18.00, 18.00 и 20.00). Только я смотрел не накопленную явку, а дельту. И не вижу я там бимодальности. Некоторое смещение распределения от нормального вправо может быть и имеет место (но не очень сильное), а бимодальности, двух явных ареалов нет и в помине

Более того - если для каждого интервала исключить 0,5% выбросов с особо сильной явкой, то вообще нет корреляции между явкой в интервалах 8-10 и 10-12. Аналогично для 10-12 и 12-15. А для пары 12-15 и 15-18 корреляция вообще отрицательная (притом достаточно сильная - около -0,25). И между двумя последними интервалами тоже отрицательная корреляции, но уже слабая - меньше -0,1

Уточнение по методологии Вашего графика: размер суб-ансамблей постоянен, а состав?

[oude-rus.livejournal.com]

Разумеется, я это тоже посмотрел.

В разнице бимодальности и не будет из-за коррелированности явки. То есть сначала посчитать разницу, а потом построит гистограмму - это не то, что посчитать разницу двух гистограмм. Поэтому что нет корреляции, меня сильно удивляет. Только смотреть надо корреляцию явки на 15 и 18 (например), а не разностей. Поскольку разности дадут вам изменение скорости явки.

Насчет состава я ничего сказать не могу, поскольку эта информация естественно теряется при расчете гистограммы. А гистограммы разницы меняют асимметрию со временем. И, по-моему, разница 20-18 выглядит так же, как и 12-10.

[barouh.livejournal.com]

Я пока еще ничего не вывешивал, но у меня получилось, что:
(а) московские участки достаточно четко делятся на те, где в отдельные временные интервалы были резкие отклонения от среднего по явке (приросту явки) в большую сторону, и те, где таких отклонений не было
(б) по факту наличия или отсутствия таких отклонений можно с 80%-ной точностью "предсказать", получила ли ЕР на данном участке больше 30% голосов или меньше
(в) распределение участков с разным процентом голосов за ЕР на участки с отклонениями по явке и без отклонений показывает, что результаты ЕР до 30% - "чистые", между 30% и 39% - преимущественно "рисованные", но есть и честные, выше 39% - поголовно нарисованные
(г) средний результат ЕР по "чистым" участкам - 25-25,5%

[oude-rus.livejournal.com]

жду.

(а). я этого не заметил
(б). тут есть такая проблема: мы знаем, что бОльший процент явки даст больше голосов за ЕР. Для бОльшего процента явки надо иметь бОльшую скорость явки. Поэтому такая корреляция довольно тривиальна и не обладает предсказательной силой. Другое дело - смотреть на флуктуации, т.е. когда на всех интервалах времени, кроме одного, скорость маленькая, но высокий итоговый процент обеспечивается той самой флуктуацией. Однако тут я тоже ничего вдохновляющего не нарыл.
(в) интересно.
(г) --
(0) я довольно вяло комментирую ваши изыскания не потому, что они не интересны, а потому, что у меня сейчас очень мало времени.