Проекты
Денисова Анна Леонидовна (Финансовая Академия при Правительстве России)
У меня к докладчику несколько вопросов. Вопрос первый. Уважаемые коллеги, давайте посмотрим на цели тестирования. Цель первая - определение степени освоения студентами ключевых предметов, входящих в бакалаврскую программу. Вопрос - что Вы понимаете под "степенью освоения студентами ключевых предметов┘"?
Второй вопрос. Ключевые предметы - как Вы выделяли эти предметы. Далее, вернемся к списку целей. Цель третья - выявление способностей студентов к экономическому мышлению. Здесь совершенно непонятно, что есть "способность к мышлению". Вы сослались на Пола Хейне, но ведь он несколько по-другому понимал сущность экономического стиля мышления - он в большей степени говорил о логике формированию экономического мышления. И последний вопрос - насколько корректно Вы ставите вопрос о связи между знаниями и мышлением, и, главное, насколько корректен предлагаемый вывод: экономические знания не тождественны наличию экономического мышления. Позвольте, ведь знания - есть проявление уровня сформированности моих креативных процессов, уровня, качества моего мышления. И в заключение позвольте еще вопрос - что Вы вообще понимаете под качеством.
А.П. Заостровцев
Позвольте я начну с первого вопроса. На мой взгляд, основной тест и его результаты как раз и выявляют степень освоения предметов. В принципе, можно говорить, что у таких форм контроля есть существенные недостатки - наш человек не привык работать в таком жестком временном режиме, что у американских обучающихся привычка к подобного рода форме контроля знаний выработана годами - с детства. Но у нас сейчас все чаще в высших учебных заведениях используются тестирования. На официальных экзаменах также часто отходят от традиционной схемы проверки знаний. Так что вряд ли этот тест вносил существенное искажение в оценку.
А.Л. Денисова
Значит шкала определения степени у Вас не была разработана предварительно?
А.П. Заостровцев
Основная проверка проводилась по баллам, как было отмечено. Критерии оценки были известны, предварительная тренировка была проведена.
Что до экономического мышления┘ Я говорил уже, что если человек в тесте с ходу отвечает по вопросу об F-статистике, например, но при этом некритически относится к суждению, что "спрос есть, а денег - нет", то это и означает некоторый разрыв между знанием и мышлением. Хотя, конечно, говорить об этом разрыве можно с известной степени условности. Тем не менее, на наш взгляд, он имеет место и в общем-то статистический анализ показал, что он действительно имеет место. Конечно, были некоторые искажения, ряд студентов не участвовал в написании второй части теста. И наверное, тест на свободные вопросы отражает некое критическое экономическое мышление. Можно иметь и противоположное мнение, но именно потому, что эта часть теста вызывает столь разную реакцию, мы не рекомендовали бы его в программу официального экзамена, если бы такой имел место.
Далее. О ключевых предметах. Мы выбирали ключевые предметы с точки зрения подготовки "экономиста-теоретика", у нас получились четыре указанных предмета. Если у Вас другое мнение о выборе 4-х предметов, мы готовы выслушать его. Но, подчеркну, мы отталкивались именно от специальности "экономическая теория".
Левин Марк Иосифович (ГУ-ВШЭ)
У меня несколько вопросов. Вопрос первый. Чему было посвящена работа? Конкретному эмпирическому исследованию или теоретической разработке и ее проверке на конкретных тестах. Второй - почему Вы основывались на среднем балле, мы же с вами понимаем, что средний балл это нечто странное. Можно ведь по другой шкале сравнивать, и тогда все будет по-другому. Кроме того, можно было делать и множественные сравнения┘ И еще вопрос - что было неожиданного, кроме разговоров, что студентам трудно сидеть? Если говорить серьезно, то что было неожиданным, на основании чего Вы бы подкорректировали свои предыдущие гипотезы до того, как начали эмпирическое исследование? Спасибо.
А.П. Заостровцев
С Вашего позволения я начну с последнего вопроса. У нас из неожиданного в оценке знаний студентов был небольшой аспект - высокий процент неверных ответов по международной экономике. Мы ожидали, что хуже будут обстоять дела по статистике и эконометрике. Возможно, это связано с тем, что по статистике и эконометрике предпочитали люди проявлять свою несклонность к риску и получать нули. Причем по макроэкономике показаны неплохие результаты, а ведь 4 или даже 5 вопросов по международной экономике относились к международной макроэкономике.
Теперь о поставленной задаче. У нас в команде работали и социологи с психологами, и экономисты. У нас был предварительный этап работы, где мы отрабатывали качество теста - соответствующую дискриминирующую силу вопросов и т.п. Мы проводили тестирования по отработанному тесту, правда сократив его с 71 до 60 из-за банальной нехватки времени у студентов на ответы. Первая цель была - создать качественный тест на базе GRE и это цель, на которую напирали работающие в команде психологи, "тест ради теста". Экономисты же видели и другую цель - как-то сравнить подготовку в различных учебных заведениях по какому-то единому тесту. Отсюда и различное отношение к некоторым вопросам, которые в одном вузе давали 99% ответивших, а в другом - только 75%. Если ставится цель теста отбирать из бакалавров тех, кто продолжит обучение на магистерской ступени, то такие вопросы действительно неудобны. Таким образом, качество вопроса зависело от цели, которая перед ним ставилась.
М.И. Левин
У меня еще вопрос: какова роль психологов, я не очень понял, и второй вопрос - у вас по сути получается гистограмма при исследовании. Ведь важно учитывать дисперсии, вообще гистограммы. Мы же вузы сравниваем и хотим получить серьезные результаты, а сравниваем по среднему значению. Я как человек иногда обрабатывающий данные не смог бы защитить средний балл.
А.П. Заостровцев
У нас есть различные варианты расчетов, в том числе и те, о которых вы упоминаете. Об этом вам может рассказать наш основной эконометрик Ирина Пантина.
И.В. Пантина
Я принимала участие в проекте с точки зрения помощи в различного рода статистических оценках и подсчетах. Мы немного забегаем вперед, по данному вопросу будут отдельное сообщение, но единственно о чем я хочу сказать сейчас, это о том, что различные подходы, а мы выбрали три подхода к оценке уровня успешности студентов, или об успешности какого-либо учреждения, ведут себя равномерно, и мы можем говорить о том, что они взаимозаменяемы. Вопрос в другом - какую оценку для какой цели мы будем использовать. Какая-то оценка оказывается более дискриминирующей - т.е. она позволяет построить более широкую шкалу, и мы можем сказать - эти вступают хорошо, а это плохо. Другая шкала дает более сглаженные оценки. Но в общем эти оценки ведут себя одинаково и дополняют и дублируют друг друга. Т.е. принципиальных отличий в них мы не выявили. Мы сравнивали результаты┘ В качестве "точек" анализа мы использовали студентов. Вузы - группировочный признак.
М.И. Левин
Когда Вы сравниваете вузы я очень опасаюсь того, что сравнение идет на основании средних оценок. Ведь мы зачастую не очень понимаем, чего мы хотим: готовить сильных лидеров, в том числе среди средних и слабых студентов, и тогда средний балл таких вузов может быть низок. Я не очень понимаю тогда, к чему мне, как преподавателю вести, ведь вы, как я понимаю, хотите использовать полученные оценки для управлению учебным процессом? Я хотел бы заострить эту проблему.
А.Л. Денисова
И все-таки хотелось бы уточнить - что вы оцениваете, и какая была у вас шкала? Какова была рабочая гипотеза, и что вы понимаете под качеством, категориями успешность студента, вуза? Какую цель Вы ставили, и что Вы хотели получить в результате?
Магун Владимир Самуилович (Институт социологии РАН)
Мне кажется, что мы уже перешли к дискуссии, и я хочу подчеркнуть, что заявленные вопросы для нас также дискуссионны и для этого мы постарались оторвать участников семинара на целый день - с тем, чтобы все вы участвовали в постановке и обсуждении всех вопросов.
Совершенно разумно, что мы брали среднюю - это наиболее простая, примитивная оценка. И тот момент, что при плохой средней могут находиться и гениальные лидеры, это интересный момент, этого мы пока не смотрели. Но за что мы можем поручиться, это за то, что про средним все сделано корректно, были проведены множественные сравнения. А то, что средние недостаточны, это очень разумно.
А.П. Заостровцев
Могу добавить в плане сравнения по средним то, что вы видели в представленных данных: есть три заведения со средним баллом 50-60 и между ними проводить различия на основе средних действительно нельзя, но когда есть средние 14 и 60, то этот разрыв очевиден. В результате, кстати, сравнивались не столько вузы, сколько программы: двухступенчатая бакалавр-магистр и традиционная подготовка, когда студенты практически сразу (или сразу) зачисляются экономистами-теоретиками. И именно это, на мой взгляд, является, может быть, самым основным итогом нашего исследования: сравнение двух моделей обучения, организации высшего экономического образования.
Еще одной целью ставилось использовать эти тесты (может быть, никто не утверждает, что так оно и будет) и в качестве инструмента отбора студентов при переходе с уровня бакалавра на уровень магистра. И тогда работают критерии дискриминационной силы, и вопросы, на которые отвечают 99%, могут отбрасываться как некачественные. Еще раз подчеркну - наполнение теста зависит от целей - если цель отбор, некоторые вопросы отбрасываются, если сравнение программ - они должны оставаться.
М.И. Левин
Мне хотелось бы спросить - для чего подобные тесты используются в США?
А.П. Заостровцев
Для процедур отбора на магистерские программы. Бакалавры сдают подобные экзамены и с этим экзаменом GRE поступают на магистров. Правда, последнее время в США GRE не применяется, по причине относительно небольшого объема этих тестов.
Замулин Олег Александрович (РЭШ)
Я хочу уточнить момент, связанный с использованием подобных тестов GRE в США. В последние годы действительно GRE по экономике не проводится. В принципе, он использовался скорее для поступления на программы докторские, в аспирантуры, чем в магистратуру, и обязательным для всех всегда оставались и остаются три основных GRE по математике, аналитической части и английскому языку. Причем GRE по экономике, пока использовался, был необходим лишь для 5-10 вузов. Остальные и ранее на него не ориентировались.
Я думаю, что причина в том, что поступающие в аспирантуру по экономике не обязательно имели ранее бакалавра по экономике или не изучали отдельных блоков в тесте GRE . В целом, видимо, тест был не очень репрезентативен в плане того, кто и где будет дальше учиться. Но это не значит, что тест не репрезентативен в смысле того, как хорошо знают экономику. И им вполне, наверное, можно оценивать тех, кто заканчивал бакалавриатуру по экономике, просто не все те, кто поступал в аспирантуру по экономике в США, были прежде бакалаврами по экономике.
В.С. Автономов
Я добавлю, что в Гумбольдском университете (Берлин) этот тест используется при зачислении на международную программу этого университета, т.е. он интернациональный. Причем в магистратуру.
Бусыгин Владимир Петрович (ГУ-ВШЭ)
Я, честно говоря, не понял, как из проведенного исследования делаются приведенные выводы. Рассматривалась ли какая-то альтернатива единому бакалаврскому экзамену? Я задаю этот вопрос, т.к. для меня идея реализации по всей стране единого бакалаврского экзамена именно в форме теста - страшный сон. Я считаю, что тесты не выявляют экономического мышления.
Иванов Михаил Алексеевич (Институт "Экономическая школа")
Отвечаю, забегая немножечко вперед. Строго говоря, идея исследования не включала в себя задачи сопоставления вузов. Это был индивидуальный анализ успеваемости отдельных студентов в общей массе, потом некие группировки, дополнительный анализ, совершенствование самого измерительного аппарата и идеологическая задача - анализ структуры знания. Мечта была - посмотреть за счет чего кто-то выигрывает у других: какой-то тип мышления, какой-то предмет. Эта внутренняя структура знания всегда ведь остается скрытой для нас. Я знаю, как работают методические комиссии - зачастую это спор обо всем на свете, без всяких критериев и результат обычно - дело индивидуального вкуса. Здесь, в этом исследовании, есть какая-то попытка понять, как устроено знание, от чего оно зависит, как соотносится в своей структуре. И вот эта внутренняя природа экономического знания и была главным предметом исследования. Но сейчас мы находимся в середине дистанции и благодарны за любые обсуждения и критику, что поможет нам двигаться дальше, что-то меняя.
М.И. Левин
Правильно ли я понимаю тогда, что основная задача была, в кавычках, экономико-психологическая и методическая, больше для специалистов по теории знания, а не для проблемы сравнения вузов и управления ими? Я просто опасаюсь того, что мной начнут управлять на основании средних баллов.
О.А. Замулин
У меня есть еще пара комментариев. Мне не совсем понятно критика в отношении средних баллов, т.к. если есть массив данных, то дальше с ними можно делать что угодно: считать средний балл, рисовать гистограммы и т.д. Смысл как раз в том, чтобы собрать данные, а потом уже можно проводить с ними какой угодно эконометрический анализ и обсуждать, что лучше использовать. Поэтому это меня как раз не очень смущает.
Но вот насчет того, как это дальше использовать┘ Мне кажется что, например, у нас в РЭШ такие тесты не имели бы большой ценности для приема студентов в магистратуру, потому что мы опять-таки не требуем вообще каких-либо знаний по экономике при поступлении. Мы принимаем людей, которые закончили, например, Мех-мат, Физтех и они не обязаны знать в принципе, что такое эластичность, мы этому учим уже в магистратуре. Поэтому использовать подобные тесты при приеме на следующий уровень обучения, было бы, на мой взгляд, не очень ценно. А вот для оценки того, на каком уровне находится образование в различных вузах страны - это может быть ценным. Ведь, как известно, в разных вузах у нас до сих пор разная философия того, что есть economics и как это преподавать, то такой тест, будучи он проведен в большом количестве вузов, мог бы дать общую картину, на основе которой можно было бы задумываться как развивать экономическое образование, если делать какую-то централизованную попытку .
Сторчевой Максим Анатольевич (Инстиут "Экономическая школа")
У меня короткая ремарка по вопросу сомнений Марка Левина о среднем балле. Это действительно не идеальный тест, но и оценка по гениальным студентам это еще менее идеальный тест, поскольку гениальность и лидерские качества это, как правило, заслуга матери природы, но никак не вуза, и такие люди, как показывает практика, умудряются развиваться при любых преподавателях и любых программах. Проблема в том, как они попали в этот вуз - может из-за его престижа, основанного на прошлых заслугах. А средний балл - оценка образования вообще в этом вузе: что преподаватели и программа делают со студентами, которые не являются от природы лидерами.
М.И. Левин
Я хотел сказать по поводу приемных экзаменов в РЭШ. Там есть экзамен по экономике и он специальным образом устроен. Основная идея не тестовая, а вопросы, от которых в данном исследовании предлагают отказаться. Своего рода свободные - чтобы посмотреть, как студент умеет мыслить, чем они интересуются. Конечно, элемент субъективизма огромный, поэтому комиссия специальным образом перед этим инструктуруется и приходит к некоему единому мнению.
И еще. Сейчас в нашем вузовском сообществе дискутируется: на что надо направить образование, на средний балл или на подготовку действительно высококвалифицированных специалистов, пусть и в небольшом количестве. Мне кажется, это очень важный вопрос, поэтому я заострил его здесь, в плане применимости критерия среднего балла.
М.А. Иванов
Пару замечаний в заключение. Я согласен с тем, что свободные вопросы - это главная критериальная компонента. И об измерении. Считаю, что имея весь набор статистической информации, и видя, что если в тенденциях, полученных по разным инструментам анализа, нет различия, мы можем делать некие выводы, представленные в исследовании.
