economicus.ru


Высшее экономическое образование в России на рубеже веков: трудности освоения нового содержания.


Проект поддерживается Министерством образования РФ и Фондом Форда.

Руководители проекта: Иванов М. A., Магун В.С.

На протяжении прошедшего десятилетия российское высшее экономическое образование (ВЭО) в целом переориентировалось на следование рыночной доктрине. Теперь представляется важным оценить содержательные результаты этого процесса. В какой мере рост числа студентов, обучающихся "новой" экономике, появление новых вузов и факультетов, издание учебных пособий ведут к конечному результату - подлинному усвоению учащимися современных экономических знаний? Насколько качественна издаваемая учебная литература? Каков профессиональный уровень преподавателей, действующих в настоящее время в вузах? (см. также)
Данный планировочный проект посвящен решению следующей проблемы: определению содержательных квалификационных результатов ВЭО и анализу непосредственных условий их формирования.
Семинар "Оценка качества высшего экономического образования"  :  Доклад А. Заостровцева Оценка знаний студентов по специальности "экономическая теория"
Здравствуйте. Наш проект - работа большого коллектива, и хотя здесь, на обложке доклада, стоит только моя фамилия, но за этим на самом деле стоит работа минимум 10-12 человек. Идея была следующей - провести сравнительный анализ качества образования, в данном случае в области экономической теории, среди ведущих учебных заведений. Как по условиям нашего проекта, так и по этическом соображениям, я не могу раскрывать названия этих учебных заведений. Могу только сказать, что это заведения "с именем", в крупнейших городах России.
Первая цель была - посмотреть, на основе какого теста можно сравнить подготовленность студентов. Был изобретен комплексный тест, состоящий из трех частей.
Первый, основной тест по типу "выбери верный ответ", о нем я скажу далее, пришлось сократить до 60 вопросов. Перед нами стояла проблема оппортунистического поведения студентов. Зачастую их сложно заставить работать в течение и 90 минут. Но это, кончено, имело серьезное значение в тех случаях, когда в нашем распоряжении не было т.н. "административного ресурса". С такой ситуацией мы порой сталкивались, и приходилось действовать через отдельных преподавателей.
Тестированию подвергались студенты в конце второго семестра четвертого курса, так что все студенты были, по идее конечно, с одинаковым уровнем подготовки. Вторую часть теста составили вопросы со свободными вопросами, о них я также скажу подробнее позднее. Нужно было описать в экономических терминах некоторые ситуации. Прообразом была всем известная книга П. Хейне. Стиль этих вопросов, на наш взгляд, наиболее полно раскрывал подготовленность в области экономического мышления. Он требовал описать экономическими терминами или какую-то жизненную ситуацию, или оценить высказывание какого-либо политического деятеля (предполагалось наличие у студентов критического подхода у студентов). Наконец, третья часть теста - это логико-математические задачи.
Об основном тесте. Каков был принцип выбора этого теста? На основе всем известных Graduate Record Examination in Economics. Мы взяли варианты от 1995 года и из них составляли тест из 60 вопросов.
Каковы были основания выбора именно американского теста? Во-первых, его беспристрастность. Если бы выбрали, скажем, в качестве основы учебник микроэкономики Нуреева, то в других вузах нам могли бы возразить, что мы подгоняем тест так, чтобы одно учебное заведение имело преимущество над другими. И так со многими другими учебниками. Таким образом, выбранный тест выступает в роли некоего третейского судьи.
Во-вторых, высокое качество и апробированность вопросов во множестве американских университетов.
В-третьих, они вполне соответствуют уровню российского бакалавра и, даже, я бы сказал, чуть недотягивают до этого уровня.
Дальше пришлось модифицировать тест. В США тест содержит 135 вопросов на 170 минут. У нас, как вы понимаете, невероятно трудно задержать студентов после занятий на 170 минут. В оригинале получалась 1 мин 15 сек. на вопрос. С учетом нашего временного ограничения в 90 минут и 60 вопросов в тесте получались несколько облегченные условия тестирования: 1 мин. 30 сек. на вопрос.
Далее. При модификации мы сохранили ядро предметной группы американского теста. Получился упор на микро- и макроэкономику, дополняемые вопросами из международной экономики, статистики и эконометрики. Конечно, это весьма большое искажение, но с учетом тех ограничений, с которыми мы столкнулись, нам пришлось пропорционально сократить 4 базовых предмета по количеству вопросов. Если же из этого теста делать некий более объективный единый тест для сравнений, то его, конечно, надо возвращать к тому формату, который существует в США.
Третье. Поскольку тест во многих случаях не являлся официальным экзаменом, пришлось учесть более сильные мотивы к оппортунистическому поведению. И в США за верный ответ начислялся +1 балл, в случае пропуска 0, в случае неверного -0,25 балла. Мы видоизменили схему на +2,0,-1. С тем, чтобы уменьшить "предельную склонность к гаданию". Об этом, о моделях поведения студента, будет отдельный доклад.
О результатах основного теста. Как и ожидалось, микроэкономика показала лучшие результаты - это видно по представленным количествам верных ответов. В статистике и эконометрике студенты часто пугались и выбирали тактику "несклонности к риску", международная экономика, и это несколько неожиданный результат, дала наибольшее количество неверных ответов. Хотя всего по восьми вопросам судить нельзя, и я никогда, например, не могу разделить международную макроэкономику от просто макроэкономики ( а в тесте половина или даже пять вопросов, было как раз по международной макроэкономике), но, видимо, была некая самоуверенность у студентов - "здесь-то мы все знаем", и, в результате, они давали неверные ответы.
Какие же вопросы по основному тесту оказались самыми сложными? Первое место занял вопрос по макроэкономике, возможно сложность была в формулировке вопроса, где использовался оборот "наиболее вероятно", но это прямое заимствование из оригинального теста. Вряд ли их должно было смутить упоминание ФРС, так как, по моим наблюдениям по Петербургу, студенты при изучении макроэкономики знают Федеральную резервную систему гораздо лучше, чем Центральный Банк РФ. Вторым по сложности вопросом стал вопрос по международной экономике, о модели IS-LM-BP, которая всегда вызывает некоторые сложности, а третий по сложности вопрос весьма удивителен - в общем-то, элементарная микроэкономика, надо всего лишь нарисовать простенький график. Из блока "статистика-эконометрика" в список наиболее сложных попал всего один вопрос. Возможно, за счет более качественной подготовке по этим предметам в Москве. Также свою роль, наверное, сыграл большой процент отказов от ответа, ведь в основу критерия сложности вопроса было положено наименьшее количество правильных ответов.
Еще один немаловажный момент, который я забыл упомянуть, когда говорил о модификации теста - мы вычистили все специфические американские вопросы, за исключениям упоминания о ФРС, но вряд ли можно сказать, что это действительно специфический вопрос, по крайней мере, для современных студентов. И все вопросы в принципе соответствуют тому ядру знаний, которым должен обладать студент в любой точке земного шара.
По избранному критерию максимума верных ответов самыми легкими стали в основном вопросы по микроэкономике, хотя первое место занял вопрос, относящийся к макроэкономике. Пятое место занял вопрос по международной экономике.
В чем была некоторая сложность работы с подобными вопросами? Наши студенты не очень приучены работать в подобном жестком временном режиме. Если бы они сели и подумали минут по пять над каждым из вопросов, результаты были бы гораздо лучше. Но подобные тесты тренируют еще и волю, собранность.
Рассмотрим теперь ситуацию по другому критерию - количеству неверных ответов. Выбраны вопросы, для которых в более чем 50% случаев дан неверный ответ. Обратите внимание на первую колонку в представленной таблице, указано место занятое соответствующим вопросом, также, в скобках, указывается место занятое в анализе пятерки самых трудных вопросов по первому критерию. Так, например, занявший первое место в этом списке, в предыдущем занял третье. Занявший здесь второе занял там пятое, а занявший третье место по критерию неверных ответов оказался на 1 месте по критерию ко-личества правильных ответов. То есть, в общем, мы наблюдаем достаточно большое, на мой взгляд, совпадение, и мы достаточно обоснованно выделили наиболее сложные вопросы.
Хочу отметить, что еще предстоят "дотестирования" различных вузах. В принципе же, тестирование показало себя хорошо, и результаты, в принципе, ожидаемые. Я имею ввиду результаты в плане сравнения учебных заведений.
В.С. Автономов
Андрей Павлович, могли бы Вы, не раскрывая идентичности, просто напомнить участникам семинара, какие учебные заведения были протестированы?
А.П. Заостровцев
Не соотносясь с номерами в таблице, могу ответить на Ваш вопрос. Были представлены два вуза с традиционной пятилетней программой обучения. Их выпускники готовятся по специальности "экономическая теория". Дальше два вуза, где уже перешли на систему "бакалавр-магистр". Пятый вуз - не столичный, там также действует система "бакалавр-магистр". Но, подчеркну, что в обоих случаях тестирование проводилось в конце четвертого курса, в традиционных вузах также присутствует в конце 4 курса бакалаврский экзамен. Программы совпадали в достаточно высокой степени, особенно по основным дисциплинам, которые мы тестировали, может быть где-то больше часов, где-то несколько меньше.
Успехи тестирования были разные, где-то был "административный" ресурс, где-то нет. В некоторых заведениях вообще экономистов-теоретиков готовят в очень малом ко-личестве.
Итого по основному тесту было опрошено 283 студента. По второй/третьей частям - немного меньше 233. Это объясняется тем, что в некоторых случаях нам приходилось делать перерыв и пользуясь этим студенты имели возможность уйти. Иногда приходилось разделять эти части тестирования по разным дням, что также не могло не привести к уменьшению числа прошедших тестирование.
О сравнении учреждений. Четко выявились два лидера, это подтверждают все проведенные эконометрические анализы. Здесь представлены самые простые данные - итоговый средний балл. Итак, по всем критериям выделилась группа лидеров, разрыв у них не очень существенный. Студенты были заранее познакомлены с условиями тестирования. Им были выданы примерные вопросы, которые будут содержаться в первой части теста, так что они имели представление, что есть что. Есть заведение, которое по результатам заняло срединную позицию, даже ближе к лидерам. И четко выделены два отстающих вуза. Это, на мой взгляд, связано с тем, что в системе "бакалавр-магистр", обучающийся, получая диплом бакалавра по экономике, может выбрать специализацию уже в магистратуре. А обучение идет по программе, предполагающей возможность в дальнейшем уни-версальной занятости, с упором может быть на какие-то более практические дисциплины. А когда человек попадает на специальность "экономическая теория" сразу, он чувствует себя своего рода "обреченным", неудачником изначально. Видно, что разрыв между аутсайдерами минимальный. В одном из них такая система - после второго курса студенты отбираются по факультетам, специализациям. Экономическая теория собирает в основном тех, кто показывает невысокие результаты в учебе, идет "отбор худших". Своего рода adverse selection.
Во втором из аутсайдеров прием осуществляется сразу на специальность Экономическая теория, и adverse selection происходит на вступительной стадии: проваливший экзамен на специальность "финансы и кредит" идет на "экономическую теорию" ему говорят что-то вроде "вам баллов хватит только туда".
На этом я, в основном, закончу о первой части нашего теста. Выводы и по первой, по второй части я сделаю в конце своего выступления, но в принципе, на мой взгляд, тест можно критиковать, его можно сделать лучше, у нас в процессе работы возникали рабочие разногласия с психологами и социологами, для них тест - это скорее искусство для искусства: есть критерии качества вопросов, с которыми я познакомился впервые, некая педагогическая эконометрика. Однако, на мой взгляд, тест выполнил свою основную работу - разместил систему "бакалавр-магистр" на одном полюсе, а традиционную модель - на другом.
Теперь о части теста со свободными вопросами. Вы сможете познакомиться с примерами вопросов и образцами ответов. Всего отвечало 233 человека. Здесь при оценке ответов, нет, конечно, той объективности, которая была в основном тесте. Здесь скорее анализировались способности к мышлению с помощью экономических терминов. Ответы оценивались по пятибалльной системе. Единицей оценивался либо пропуск ответа, либо не относящийся к делу ответ. Двойкой - либо неверный по существу ответ, либо некритическое принятие поставленного в формулировке вопроса-суждения, или абсолютно тривиальный ответ, не раскрывающий сути. Тройкой - плохо аргументированный, но в принципе верный ответ. Четверка и пятерка - здесь было сложно проводить различия; предполагалось, что если студент использовал всю экономическую терминологию, которую от него ожидали, то ставилась 5, если нет - то 4. Хотя, конечно, различие весьма тонкое.
Среди отвечавших, 16% отмечены высшим баллом. По трем наиболее трудным вопросам получены пятерки в 4, 6 и 9% случаев. По трем наиболее легким в 34, 33 и 21% случаев, соответственно. Теперь примеры вопросов - самого трудного и самого легкого.
Самым трудным оказался вопрос: "Что общего с точки зрения экономиста между роскошной квартирой в центре Петербурга с видом на Неву и талантом футболиста из петербургского Зенита?" Этот вопрос взят по аналогии с вопросом из одного американского учебника. Там вопрос звучал примерно так: "Что общего между гектаром земли в штате Айова и теннисисткой Мартиной Навратиловой?". Нужно было отметить неэластичность предложения и что то и другое приносит высокую ренту. Это ожидалось и от наших сту-дентов. Правда, с переделкой на наш мотив.
Наиболее легкий вопрос оказался на изречение: "Государственные законы редко поддерживают конкуренцию; гораздо чаще они скорее поддерживают интересы защитников конкурентов, чем защитников конкуренции".
Автор этого высказывания Дж. Стиглер. Здесь практически все начали отвечать о лоббировании. Но были и неграмотные ответы: об отсутствии в России антимонопольного законодательства и т.п. Многие стали прилагать это изречение только к нам. В ответе на отлично есть упоминание и поиска за рентой, и лоббизма, и групп интересов - словом, всех ключевых слов.
Соответственно, у нас было 8 подобных свободных вопросов. Они были разными, в некоторых из них мы приводили цитаты из выступлений в прессе политических деятелей. По замыслу нужно было оценить уровень их экономической грамотности.
Был поставлен вопрос - есть ли связь между экономическим знанием и мышлением. Было интересно сравнить результаты первого и второго тестирования. Были посчитаны обыкновенные коэффициенты корреляции Пирсона, 5% уровень значимости. Заметим, что между третьей частью теста (логико-математические задания) и первой какая-то связь существует. А вот со второй частью корреляция очень слабая. Объяснения могут быть самые разные, мы для себя какого-то одного не выделили. Тот же результат подтверждается таблицей числа значимых коэффициентов корреляции между вопросами первой и второй частей: "вопрос-вопрос". Наибольшее число значимых коэффициентов показал пятый свободный вопрос, но он по своему характеру ближе к традиционному экономическому тесту. Вопрос заключался в ситуации: участки кроликовода и огородника находятся рядом. Кролики поедают капусту, объясните это явление как экономист. Стоит отметить, что многие студенты здесь отмечали только внешний эффект для огородника, не замечая положительный внешний эффект для владельца кроликов. Наибольшее значение коэффициентов с некоторыми вопросами из теста также показал пятый вопрос. И я взял на себя смелость сделать такой вывод: "Наличие экономических знаний не всегда тождественно наличию экономического мышления". Т.е. человек может прекрасно разбираться в эко-нометрике, но не уметь увидеть неграмотность в утверждении типа "спрос есть, а денег нет". По всей видимости, это может быть даже различием в стиле мышления между математиками и гуманитариями.
В завершение выступления, позвольте сделать общие выводы. Если возможно организовать что-то вроде единого бакалаврского экзамена (хотя это вряд ли возможно, т.к. все заведения с традиционной формой обучения будут против), то целесообразно часть его проводить в форме теста, по структуре и содержанию близкому к основному тесту. По объему теста. В целях более полного выявления знаний оптимально было бы установить 120 вопросов на 180 минут. Структура теста все 4 блока должны находиться в количественной пропорции 40/40/20/20. Тогда это выявляло бы знания более качественно.
Оценка ответа. Ранее уже говорилось о специфических причинах смены шкалы оценки, на экзамене же можно и принять американскую систему. Рейтинг вузов. Средний балл бакалаврского экзамена может быть, наверное, использован как элемент при определении рейтинга образовательного учреждения.
Что до свободных вопросов, то, наверное, бакалаврский экзамен должен содержать в себе четкие критерии оценки. А здесь многое зависит от субъективного мнения оцени-вающего. Да и слабая связь с результатами основного теста говорит о том, что их скорее можно использовать, скорее, как некий познавательный инструмент, дающий представление об экономическом мышлении, а не как элемент официального экзамена, если таковой вообще возможен. Результаты, подчеркну еще раз, предварительные, тестирования будут продолжаться, в том числе и в новых городах.