Выношу из комментариев

[oude_rus]

kirenenko проделал большую и красивую работу по сравнению обеих выборов и теории Колмана (это такой чувак, который объясняет корреляцию явки и результата социальным конформизмом, известным в народе как "а что я, лысый, что ли?"). Жалко, если работа сгинет в комментариях, так что я ее сюда вытащу.
Сначала по инструментальной части. Для интереса, попробовал гексагональные двумерные гистограммы. Не уверен, что они всегда хороши, и что стоят неудобств и возни с ними связанной. Для интереса, попробовал LOESS фиты (красные линии на всех графиках). Тоже не думаю, что это был хороший выбор для этих данных. Неустойчивый он. Медианы лучше.

1. Член Чурова никуда не делся. Размер-явка, loess fit. Слева – 2011, справа – 2012.


2. Соответственно, надо смотреть на мелкие и большие участки отдельно (распределение по размеру, конечно, тоже почти не поменялось). Смотрим на распределения по явке и по голосам за ЕР и за Путина (синий- большие участки, красный – маленькие).



Естественнно, за моды на 95 и 100 отвечают этнические окраины, и мне лень их отфильтровывать. Распределение, как и на думских выборах, имеет более 3 мод. Радоваться укороченным хвостам нет никакого повода. Все, что поменялось – уменьшился диапазон явки. Явка повысилась.
3. Энтропия, теория Колмана:


Красным - LOESS усреднение. Черным - фит Колмана, он показывает, что явка на президентсих выборах лучше всего объясняет выбор при условии, что энтропия выбора 1.75 (выбор из 3.36 вариантов).
По сравнению с думскими выборами, разница реальной средней энтропии и энтропии, объясненной по Колману, не изменилась.
Теперь отдельно крупные участки:


Надо бы, конечно, и мелкие отдельно нарисовать, и показать как хорошо они ложатся на колманскую кривую. Но это и так видно. И это и так известно, что в деревнях конформность выше. ладно, вот они


Общий предварительный вывод (базирующийся на интуиции): ничего в масштабе страны не изменилось, только явка повысилась, а с ней, естественно и поддержка лидера.

По Колмаму: дод рукой сслылка на
http://jemmybutton.livejournal.com/2550.html

Вот рекламаная страничка колмана, там хороший список литературы. (Только там все, что на гугл докс лежит - недоступно)
http://www.populardelusions.org/

Для быстрого ознакомления, вот эта стаья мне кажется самой лучшей
http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.31.4615

Ну, и мой обычный дисклаймер: Колман не дает нам модель честных выборов, которую можно использовать для оценки фальсификкаций. Просто инструмент, чтоб сравнить одни выборы с другими, и возможно, поспекулировать на социологические темы.

Еще дисклаймеры.

Никакая гипотеза здесь не тестируется. Сравниваются несколько важных макро-характеристик выборов 2011 и 2012.

Насчет фальсификаций, я придерживаюсь мнения, что ничего определенного о них (особенно количественно) по данным сказать нельзя. Хотите увидеть, как фальсификация влияет на данные - смотрите на руелект.

Про Колмана.

Теория Колмана не дает нам модель честных выборов, которую можно использовать для оценки фальсификаций. Это просто инструмент, взгляд на данные еще под одним углом, чтоб сравнить одни выборы с другими, и возможно, поспекулировать на социологические темы.

Я считаю важным, что наблюдения (не теория, а наблюдения) Колмана показывают, что во многих больших странах явка безусловно коррелирует с поддержкой кандидата.
Характер этой корреляции в России качественно не отличается от его характера в других странах.

<<конец комментария>>
В общем, читайте и обсуждайте; kirenenko, надеюсь, ответит на все вопросы. Только сильно не ругайтесь, пожалуйста.

А я, цыкая зубом и стуча копытами, побежал в сторону моря.

Comments

[went.livejournal.com]

Слабо понял, как именно конкретно исследование энтропии доказало или опровергло гипотезу фальсификаций.

Кластерные методы - очевидно - дают некий простор для размышлений.
Неосилил,

какую гипотезу

вообще исследовали-то?

[in-kant.livejournal.com]

Там же написано прямо: "Насчет фальсификаций, я придерживаюсь мнения, что ничего определенного о них (особенно количественно) по данным сказать нельзя."

я читал

[a-shen.livejournal.com]

только некоторые тексты Колмана (его русскую статью и ещё одну), и мне они показались малоубедительными - там какие-то философические аргументы в пользу энтропии, и почти никаких фактических сравнений (облако точек и довольно абстрактная кривая, где-то в нём проходящая) - может быть, Вы как-то можете объяснить, в чём убедительность его теории?

Re: я читал

[oude-rus.livejournal.com]

я не говорю, что теория убедительная. Более того, кириленко тоже оставляет немало резерваций.

и таки да, я согласен, что что ни нарисуй, колман все объяснит. Как мне кажется, это связано с формой энтропийной функцией преобразования.

Re: я читал

[kirenenko.livejournal.com]

См.
http://oude-rus.livejournal.com/586330.html?thread=5031002#t5031002

> почти никаких фактических сравнений

Как же нет, полно сравнений. Только в этом его ценность и заключается, что он дает нам свои наблюдения и сравнения.

А теория - неубедительна, конечно. Но мы ее и не используем для предсказаний.

[a_hramov]

Блять Можно так сказать? Да? Спасибо. Блять, Вы можете нормально объяснить? Вот я учился и разбирался в гражданском праве. В римском. В галахическом. Полное собрание дигестов Юстиниана стоит у меня на полке - и я их прочитал! На экзамене я отвечал на вопрос о соотношении проблем "бодливый вол" по Торе и "источник повышенной опасности" по ГК. Мне задают вопросы по шариату, делая адаб, а епископ РПЦ признает, что я был прав - а он нет, в вопросе канонов православия. И с каноником РКЦ мы обсуждали Декрет «Orientalium Ecclesiarum», и вопросы кодекса права восточных церквей (а у меня по латыни всегда было отлично).
Но то что Вы пишите - я не понимаю. Можно написать это так, чтоб я понял?
Впрочем, это просто ночные комменты, можете не обращать внимания.

[oude-rus.livejournal.com]

это не я пишу, мое только введение из заключение.

[in-kant.livejournal.com]

Бггг...
У тебя вопрос, я полагаю, по третьему пункту? Так вот, какой-то мужык по фамилии Колман выдвинул гипотезу, что в силу своей конформности люди склонны вести себя в зависимости от поведения окружающих. Мол, если все идут на выборы - то и я пойду. И если все голосуют за Джонсона - то и я за Джонсона. И тогда специальным образом подсчитанная энтропия голосов за какого-то кандидата будет находится в определенной завимости от энтропии явки. То есть точки должны лежать вокруг черной кривой на этих картинках. При этом черная кривая - это уже фит, в котором варьируется коэффициент, примерно обозначающий эффективное число вариантов выбора.

Это же явление конформности может быть ответственно, в соответствии с гипотезой Колмана, за положительную корреляцию явки и процентов за ЕР или Путина, которые обычно считают признаком массовых вбросов.

Как и у большинства гуманитарных теорий (гипотез) ее предстказательная сила стремится к нулю. Поэтому из этих энтропийных графиков ничего нельзя сказать о том, были ли фальсификации и сколько.
Надо бы попробовать смоделировать простую гипотезу - взять некоторое "идеальное" общество со строго нормальным распределением явки и голосов, добавить вбросы и посмотреть, что станет с энтропийными графиками - да лень. Надо статью писать - уже начинаю себя ненавидеть, что столько времени не могу ее закончить.

[rwalk.livejournal.com]

Так он писал темно и вяло - это я про Колмана по ссылке из citeseerx. Его теория заключается в единственной формуле: энтропия распределения по партиям пропорциональна энтропии распределения (p,1-p), где p - это явка. Никакого разумного объяснения, почему должно быть так, он не предлагает, и я его не вижу.

[kirenenko.livejournal.com]

Спасибо за публикацию.

Дисклаймеры.

Никакая гипотеза здесь не тестируется. Сравниваются несколько важных макро-характеристик выборов 2011 и 2012.

Насчет фальсификаций, я придерживаюсь мнения, что ничего определенного о них (особенно количественно) по данным сказать нельзя. Хотите увидеть, как фальсификация влияет на данные - смотрите на руелект.

Про Колмана.

Теория Колмана не дает нам модель честных выборов, которую можно использовать для оценки фальсификаций. Это просто инструмент, взгляд на данные еще под одним углом, чтоб сравнить одни выборы с другими, и возможно, поспекулировать на социологические темы.

Я считаю важным, что наблюдения (не теория, а наблюдения) Колмана показывают, что во многих больших странах явка безусловно коррелирует с поддержкой кандидата.
Характер этой корреляции в России качественно не отличается от его характера в других странах.

[oude-rus.livejournal.com]

я дисклеймер подпишу, ладно?

[kouprianov.livejournal.com]

Он неплохо отличается количественно. Я специально занимался этим вопросом и не нашел таких астрономических значений R^2 для линейной регрессии доли голосов по явке, как у ЕР, ни в одной из нескольких десятков рассмотренных партий.

[nonenoun.livejournal.com]

> Насчет фальсификаций, я придерживаюсь мнения, что ничего определенного о них (особенно количественно) по данным сказать нельзя.
А как же анализ дисперсии? trv-science.ru/2012/02/28/sto-vosemdesyat-chestnykh-gorodov

Или тяжёлые правые хвосты явки, которые почему-то наблюдаются там, где высокий уровень фальсификаций. В других странах мне такое вообще не встречалось. В Москве в декабре хвост был, а в марте его не стало (спасибо наблюдателям).

[myugor.livejournal.com]

Из того, что показано на графиках, видно очень большое отклонение от Колмановских предсказаний на краях - т.е. при очень малых и очень больших явках люди ведут себя существенно не по Колману.
И у меня такое ощущение, что в Москве ход энтропии и в области 50% явки будет существенно негоризонтальным. И скорее всего, не только в Москве. Собственно, увеличение энтропии в области 40-60% на крупных участках 4 марта видно и на показанном графике.
Куполообразность энтропий, конечно, не позволяет полностью исключать влияние Колмановского механизма. Но для объяснения всего происходящего только конформностью сходство слишком поверхностное.

оф топ

[cheldyshev.livejournal.com]

извините
а что такое "коибатость"?

Re: оф топ

[oude-rus.livejournal.com]

коибатость - это соответствие результатов голосования по участкам с коибами и без. Если коибатость около нуля, то все коибись... то есть в порядке.

[new-putin.livejournal.com]

Здравствуйте
Просьба от астраханцев - сделайте статью по фальсификациям в Астрахани
Заставьте потрепетать наших уголовничков

[edd-l.livejournal.com]

Ожидается ли пост по новой коибатости?

[oude-rus.livejournal.com]

думаю, что да -- но для этого данные должны стать официальными, иначе слишком много работы.

[kirenenko.livejournal.com]

Приложения.
Сравнение распределений отдельно по этническим регионам, и по большим и малым участкам за их пределами



Распределение по голосам на больших участках за пределами этнических регионов, которое "стало гауссовским". Точками показано из чего это распределение сладывется. Каждая точка - участок. (Участки упорядочены по региону, но на первой и на второй картинке они не обязятельно упорядочены одинаковым способом)
Это к вопросу о том, "гомогеннее" ли все стало. Я б сказал, внутри каждого региона все стало погомогеннее, но разброс между регионами стал побольше.

[kirenenko.livejournal.com]

Колман пишет слишком много буков, и его работы производят на многих отталкивающее впечатление.
Я тоже, отвечая на комментарии, не вношу ясности.
Сегодня я написал очередной ответ здесь http://kobak.livejournal.com/104514.html?thread=1853762#t1853762
и решил, что основную идею Колмана в двух словах будет полезно описать и здесь. Спасибо, уважаемый oude_rus за предоставленное пространство, и если я вас уже задолбал своим слишком заметным присутствием в вашем журнале - вы только намекните.

Если некое сообщество все как один пролосовало за кандидата А, то мы можем сказать, что эти люди проявляют сплоченность или однородность выбора. Если же кандидаты А, Б, В и Г получили каждый по 25% голосов - избиратели проявили неоднородность.
Численная мера неоднородности называется энтропией. Когда все за одного кандидата, энтропия минимальна и равна 0. Когда за 4 кандидатов поровну - максимальна и равна в данном случае 2.
Итак, мы можем измерить степень неоднородности в голосовании.
Колман выдвигает гипотезу, что при определенных условиях, мера неоднородности присуща данному сообществу людей, и не зависит от того, какой конкретно выбор они осуществляют.
Например, если в городе все носят Адидас, то там или очень высокая преступность, или наоборот очень низкая. А если все одеваются разнообразно - то уровень преступности будет средним.

Выборы, утверждает Колман - уникальная возможность измерять разницу в неоднородности сообществ, поскольку вся страна делает выбор с одними и теми же вариантами, и можно использовать одну количественную меру.
К тому же, есть еще выбор явки, по которому можно получить свою меру неоднородности.

Итак, энтропия явки и энтропия выбора кандидата измеряют одну и ту же величину – соц. энтропию сообщества.

Теперь об условиях, в которых эта величина более-менее неплохо определена.
1.Социальная конформность. Основным источником информации для принятия решения должно быть поведение других людей, и прежде всего - соседей в географическом смысле. (можно рассмотреть конформность на графе соц. сети, но тогда чтоб ее проверить, надо будет формировать УИКи по метрике ЖЖ-френдов).
2. Информационная изоляция от других сообществ. (Колман пишет, что диффузии избежать нельзя, и со временем, если в стране не происходит перемен, соц. энтропия выравнивается, в частности сужается диапазон явки на выборы).
3. Сообщество должно быть зрелым, чтоб там устаканился процесс обмена информацией.

Явка не предсказывает выбор кандидата, и выбор кандидата не предсказывает явку. И то, и другое может быть использовано для измерения соц. неоднородности там, где это понятие может иметь смысл.

Теперь о графиках. По вертикали отложена энтропия выбора кандидата. По горизонтали - явка. "Парабола" - это энтропия явки, умноженная на подгоночный коэффициент.
Почему просто не нарисовать все в координатах энтропия-энтропия и не показать прямую вместо дурацкой параболы? Потому что тогда все точки с близкой энтропией явки скучкуются. (см графики здесь http://jemmybutton.livejournal.com/2550.html)
"Парабола" - это мера соц. энтропии по явке, а вертикальная координата - мера соц. энтропии по голосованию.

я в теорию Колмана верю не сильно, и не хочу ее пропагандировать, просто решил попробовать объяснить ее идею, как я ее понимаю.

Но энтропию я считаю интересной метрикой для сравнения выборов.

А когда же будут разоблачения фальсификаций? Я не думаю, что теория Колмана применима для разоблачений. Поскольку она сама утверждает, что она работает там, где она работает. Не теория это, а измерительный инструмент.

Но для прикола, давайте разоблачим. В думских выборах была у нас куча участков с явкой около 50%. Большинство этих участков строго по Колману показывали и максимальную энтропию выбора кандидата. Но многие из них упали с максимума энтропии далеко вниз. Вероятно ли, что люди проявившие такую неоднородность в явке, проявят такую солидарность в голосовании? А черт его знает! Но посмотрим на данные с ruelect.com, изображенные jemmybutton на энтропийном графике: http://pics.livejournal.com/jemmybutton/pic/0005y8yb/
Практически все точки с низко павшей энтропией в районе средней явки – фальсификации. Но половина всех точек, которые вне подозрения по энтропийному критерию – тоже фальсификации.

[oude-rus.livejournal.com]

index - это просто (некий) порядковый номер, верно?

можно знаете что сделать? посчитать среднее и дисперсию для каждого региона. Поскольку у меня есть такое чуйство, что на левом графике ширина общего распределения определяется в основном шириной каждого под-распределения, а на правом - распределением под-распределений (т.е. ширина каждого под-распределения меньше ширины итогового распределения).

на языке оптики левое распределение называется "однородным" (ширина распределения ансамбля определяется шириной распределения внутри каждого из субансамблей), а правое - "неодородным" (ширина распределения ансамбля определяется шириной распределения центральных частот субансамблей).

только я вот думаю, не правильнее ли взвесить все это дело на количество избирателей.

[kobak.livejournal.com]

Имеет смысл рисовать такие гистограммы, изображая не количество участков, а сумму голосов на этих участках. Потому что иначе кажется, что ваши "большие" и ваши "маленькие" участки дают сравнимый вклад в результат (и действительно их кол-во не очень сильно отличается). Но сумма бюллетеней по "малым" участкам -- это крохи. На участках со списком менее 750 человек (Вы так границу проводили?) всего 10 млн бюллетеней собрано, а на больших участках -- 60 млн.

[kirenenko.livejournal.com]

Вот более тщательная иллюстрация последней пары картинок.
Участки с более 750 зарег. Региональные компоненты распределения по голосам. Красные квадратики - региональные медианы. Усы - региональные квантили 10 - 90%. Регионы упорядочены по-разному, ничего не взвешено.
Что скажете, oude_rus? Какое однороднее? И есть ли какой общепринятый статистический тест на однородность?

[matholimp.livejournal.com]

Оригинал взят у matholimp в Не "чистые выборы", а более профессиональные вбросы (http://matholimp.livejournal.com/952903.html)

Если в декабре вбрасывали бюллетени, то в марте - избирателей (и даже целые участки). Если в декабре фальсификации легко можно было выявить с помощью законов математической статистики, то в марте обученный им на физфаке ЛГУ волшебник велел нижестоящим избиркомам подогнать цифры так, чтобы статистика демонстрировала иллюзию "честности". Напрашивается аналогия с академиком Фоменко: если фальсификации в официальной истории нарушают законы математической статистики, то "Новая Хронология" - альтернативная фальсификация, свободная от этого недостатка.
...
(В продолжение http://matholimp.livejournal.com/952462.html ).