Почему профессора-женщины оцениваются студентами ниже профессоров-мужчин

[oude_rus]

Для незнакомых с западной системой преподавания: все университетские курсы по их окончанию оцениваются студентами через довольно длинный опросник. Студенческий опрос полностью анонимный и обрабатывается специально обученными людьми, т.е. полностью независимо от оцениваемых. Результаты статистической обработки посылаются профессору, который обязан представить свои соображения по тем пунктам, где он(а) получили низкие оценки. Если таких пунктов слишком много и они систематические, то для профессора будут неприятные последствия. В принципе, механизм достаточно отлаженный и, с моей точки зрения, полезный. Механизм, кстати, из обратных связей между студентами и профессорами не единственный, но речь сейчас именно о нем.

Так вот, недавнее исследование показало, что студенческие опросы систематически пристрастны к женщинам-профессорам -- настолько, что опросы скорее отражают гендерные пристрастия, чем то, что они должны измерять: качество преподавания. Отсюда сразу же возникает вопрос, насколько опросники могут использоваться как достоверное измерение преподавательской эффективности.

Результаты исследования -- если им верить -- достаточно шокирующие. Какие будут мнения?

PS Уважаемым дискуссантам я все же предлагаю сначала прочитать коммьюнике по первой ссылке, оно всего на страничку.

Comments

[dennisgorelik]

> Students of the actual male instructor performed worse in the course on average,

Как меряли "performance" студентов?
Не по оценкам ли преподавателя?

[oude-rus.livejournal.com]

по первой ссылке написано, как.
они сделали достаточно остроумный эксперимент.

[ammosov.livejournal.com]

Ну значит, со студентами будут проводить воспитательную работу, а оценки женщин повышать административно.

[oude-rus.livejournal.com]

специально оговорено, что пристрастия настолько многофакторны, что скорректировать не представляется возможным.

[muh2.livejournal.com]

Скорректировать результаты или скорректировать студентов? А розги пробовали?

[sca-germany.livejournal.com]

можно предположить, что на факультетах где больше студенток оценка женщин-професоров пониже
к мужскому же успеху женщины более толернатны :)

[naukarus.livejournal.com]

В статье рассматривается два эксперимента. В Франции преподавательниц не любят студенты, а в США - студентки.

[pigdeon.livejournal.com]

Открываются широкие возможности для программ гендерного обмена.

[saccovanzetti.livejournal.com]

настолько, что опросы скорее отражают гендерные пристрастия, чем то, что они должны измерять: качество преподавания

По какому критерию оценки качества преподавания (кроме опросов студентов)?

[vit-r.livejournal.com]

Вопрос насколько рандомизированы группы. Практически, для Штатов надо смотреть белых, латиносов, негров и т.п. Плюс для разных специальностей могут быть разные гендерные стереотипы. Не сомневаюсь, что для Германии мужики будут в фаворе из-за культурных особенностей.

[sanitareugen.livejournal.com]

Ну, вариант, что это тенденциозное исследование, необходимость которого и неизбежность вывода обусловлена тем, что неблагодарные студенты пытаются через опросы получить хоть как-то пригодных, а не "анкетных" преподавателей, и что не дискредитировав саму идею опросов, от них не избавишься, не исключён. Хотя в пользу его говорит разве что то, что на каждом отдельном курсе (а там всё "общественные науки" - история, политические институты, микроэкономика, макроэкономика, политические науки и социология) корреляции что пола с оценками студентов на экзамене, что пола с оценкой студентами преподавателя незначимы, а при объединении вдруг становятся значимы. При этом объяснить просто ростом выборки нельзя, ИМХО, как-то очень резко p уменьшается, с шести значений от 22% до 70% к 7%, для связи "пол инструктора - оценка на экзамене" и от 8% до 63% к 0% для связи "Оценка студентами - пол инструктора". Ещё там какое-то непонятное вероятностное рассуждение, с "3.3 миллиарда вариантов распределения", при том, что вроде стандартные методы есть и новых выводить не надо. Не хотелось бы обнаружить "Новую Статистику", подобную той, которой обосновывают "Новую Хронологию". Однако далее я буду говорить лишь о возможных реальных причинах эффекта, считая его наличие доказанным.
Тут на самом деле два эксперимента, очень разных. Во Франции оценивали большую выборку (23,001 SET of 379 instructors by 4,423 students) студентов, которые сдавали экзамены и давали оценку преподавателям (инструкторам, насколько я понял, это что-то вроде наших "ассистентов", проводивших семинары или практические занятия; лектор был мужчина, он же и принимал экзамены, и он не оценивался). В США проводили онлайн-занятия, причём для части преподавателей "меняли пол", сообщая не тот, что в действительности, тут 43 наблюдения.
Во французском эксперименте мог быть, например, такой механизм - ассистенты-женщины более точно следовали лекциям и натаскивали гг. студентов на "единственно верный ответ" (напомню, что это не математика и не инженерные дисциплины, это "разговорный жанр"), а ассистенты-мужчины давали более широкую точку зрения, иногда и критикуя профессора. Естественно, лучшие оценки в смысле соответствия лекциям там, где дрессировали, а лучшее восприятие занятий там, где объясняли (причём это проявляется у студентов мужского пола, не любящих дрессировку, а пытающихся выработать свою позицию). В американском выборка мала, и говорить, что там доказано, я бы не стал. Причём там "предпочтение мужчин", в смысле более высокие оценки, если говорят, что преподаватель - мужчина, проявлялось у женщин, и возможно, онлайн-занятия они воспринимали, как личную беседу, и даже с некоторым оттенком интимности.
Впрочем, для полноценного рассмотрения результатов не готов, надо знать намного больше, и по методике набора данных, и по технике анализа, и по обстановке в институтах.

Что мерять?

[dennisgorelik]

Я когда пытался придумать, в чём может быть подвох измерения эффективности обучения - у меня не получилось.
Хотя ваша версия вполне правдоподобна:

> женщины более точно следовали лекциям и натаскивали гг. студентов на "единственно верный ответ"

Измеряющая (тестирующая) фукция может очень сильно влиять на поведение системы.
Стоит измеряющую функцию настроить чуть-чуть не на то - и эффективность всей системы (университета) может резко ухудшиться.

[krokodil-totach.livejournal.com]

Во-первых, если речь идёт о полном профессоре ( Full professor), то никаких последствий не будет. Во-вторых при продвижении по службе оценки за преподавание стоят на последнем месте среди прочих критериев. Главным критерием для продвижения являются индекс цитирования и наличие публикаций в хороших журналах. Так что женщинам, делающим карьеру в академии, можно не слишком беспокоится.

[naukarus.livejournal.com]

речь идет о TA в США и инструкторах - во Франции

[alisa-lebovski.livejournal.com]

Кстати, этот механизм уже несколько лет введен на экономическом факультете МГУ, причем не только к профессорам, но ко всем преподавателям, включая начинающих ассистентов. По итогам прошлого учебного выгнали девочку, на ее место взяли другую, неизвестно что будет по итогам этого учебного года.

[pigdeon.livejournal.com]

Скажите, практика "устных" зкзаменов там еще сохраняется?

[alisa-lebovski.livejournal.com]

Могу сказать только за математические предметы, экзамены письменные.

[pigdeon.livejournal.com]

Спасибо.

[schauerfrau.livejournal.com]

какой интересный пост - прямо в тему, я сегодня просматривала результаты своей эвалюации и думала думы :)

Я по своему опыту могу сказать, что эвалюирование оочень сильно зависит от уровня студентов. У меня сейчас интересная смешанная группа студентов - 25 очень умных (поступают в универ по конкурсу, что в нашей Германии существует только для нескольких сильно востребованных специальностей) и, так скажем, гораздо менее умные, куда стекаются разный народ, в том числе и те, кто не потянул стандартное химическое/физическое образование. Читаю им физхимию, включая квантовую механику, и веду семинары. И вот написали мне сегодня студенты эвалюацию. Те, которые умные, захвалили меня выше крыши - и хорошо структурированна лекция, и понятно обьяснено, и много чего нового и релевантного они изучили. Почти все поставили самую лучшую оценку. А те, которые неумные, в массе своей налепили мне всякой фигни - слишком много математики, и вообще все трудно, и им слишком много приходилось готовиться к семинарам, и слишком всего много, и интегрировать их заставляли, бедолаг. И оценили меня на 2 балла ниже. Вот прямо 100% корреляция наблюдалась. Чем тупее студент, тем хуже он профессора эвалюирует. И чем труднее предмет читаешь, тем хуже эвалюация. Я поэтому очень скептически отношусь к таким сравнительным эвалюациям, где помидоры сравниваются с арбузами, а бананы с апельсинами.

А по поводу женщин-профессоров. Я, често говоря, сама борюсь с такими же предрассудками к женщинам-профессорам. Хотя сама и женщина и профессор. Поэтому меня результаты опроса вообще не удивляют.

[oude-rus.livejournal.com]

а что, анкетирование не анонимное?

А в чем именно заключаются предрассудки к женщинам-профессорам? Что они делают не так по вашему мнению? расскажите, интересно.

[schauerfrau.livejournal.com]

Анкетирование анонимное, но студенты должны указать к какой группе они принадлежат, и я могу посмотреть на эти результаты.

Женщины-профессора на самом деле все делают так. Даже более того, среди них гораздо меньше посредственностей, чем среди мужчин-профессоров, так как посредственным женщинам на порядок сложнее в профессуру пробиться чем посредственным мужчинам. У меня - если рассуждать мозгами - ни в научном, ни в преподавательском плане претензий к женщинам-профессорам нет. Но вот подсознательно на подкорке записано, что что-то тут не так :( Наверное сказыватеся то, что у меня все преподы были мужчины. Это чувство такое же как по отношению к воспитателю детского сада - мужчине. И еще наверное то, что женщины часто с меньшим апломбом выступают, чем мужики, особенно перед студентами, и им из-за этого как-то меньше верится.

[filipenkovanton.livejournal.com]

А какова доля женщин-профессоров тех учебных заведений, о которых вы в курсе?

[schauerfrau.livejournal.com]

очень маленькая. 5-10% от силы. я говорю о настоящих профессорах на перманентных позициях

[filipenkovanton.livejournal.com]

Ясно. Спасибо. Слышал о доли женщин среди учёных, занимающихся наукой в где то треть в Европе. Интересно было знать о профессорско-преподавательском составе. Кстати вы можете из ваших сведений подтвердить долю в треть женщин-учёных?

[(Anonymous)]

Сам принцип оценки эффективности и качества преподавания по опросникам является довольно лукавым. К этому еще добавляется модная тенденция уравнивания (почти любыми усилиями) мужчин и женщин. Зачем, кстати? А в итоге студенты указывают просто у кого им больше нравится учиться. Внезапно! Мужчины оказываются более популярными как преподаватели, чем женщины. Ну и что с того? Разница-то в статистике предпочтений невелика, да и сами эксперименты можно покритиковать. Мужчины и женщины ведь физически легко отличаются, а почему тогда они должны одинаково нравиться? :) Различия-то должны быть, что исследования и подтверждают.

[kobak.livejournal.com]

Я наискосок просмотрел половину статьи, про французские данные. У меня нет желания разбираться более детально, но на первый взгляд исследование не выглядит особенно убедительным. Во-первых, нет ни одной картинки. Во-вторых, p=0.07 в тексте называется statistically significant без всяких оговорок; видимо, авторы выбрали \alpha=0.1, на что они имеют право, но оговорить-то такой странный выбор надо бы. В-третьих, подробно обсуждается, что их randomization-based testing лучше обычных параметрических методов; я готов согласиться, что в некоторых случаях действительно лучше, но по жизни разница обычно незначительна, так что градус риторики кажется преувеличенным и слегка смущает. В-четвертых, я не смог понять величины эффекта; утверждается, что корреляция между средней оценкой (SET) и полом преподавателя составляет 0.09 (и очень значима с p=0.00). 0.09 -- это вообще-то очень мало. Пол, понятное дело, величина бинарная. В каких единицах измеряется SET и каково среднее и дисперсия, статья не сообщает. Если предположить, что измеряется от 0 до 100 и что у мужчин, предположим, среднее 70 и среднеквадратичное отклонение 5 (т.е. большинство оценок от 60 до 80), то такая корреляция получится, если у женщин в среднем 69. Это кажется микроскопической разницей. Но в абстракте написано, что эффект "large".

[oude-rus.livejournal.com]

О, хоть кто-то статью прочитал.
Молодец!

[nicoljaus]

Для полноты картины:

“We no longer find Sarkozy credible,” explains Anne Boring, a former GayLib member who voted for Sarkozy in 2007