economicus.ru


Высшее экономическое образование в России на рубеже веков: трудности освоения нового содержания.


Проект поддерживается Министерством образования РФ и Фондом Форда.

Руководители проекта: Иванов М. A., Магун В.С.

На протяжении прошедшего десятилетия российское высшее экономическое образование (ВЭО) в целом переориентировалось на следование рыночной доктрине. Теперь представляется важным оценить содержательные результаты этого процесса. В какой мере рост числа студентов, обучающихся "новой" экономике, появление новых вузов и факультетов, издание учебных пособий ведут к конечному результату - подлинному усвоению учащимися современных экономических знаний? Насколько качественна издаваемая учебная литература? Каков профессиональный уровень преподавателей, действующих в настоящее время в вузах? (см. также)
Данный планировочный проект посвящен решению следующей проблемы: определению содержательных квалификационных результатов ВЭО и анализу непосредственных условий их формирования.
Семинар "Оценка качества высшего экономического образования"  :  Семинар "Оценка качества высшего экономического образования"  :  Доклад П. Ватника ("Факторная структура ответов") и обсуждение доклада
Мои коллеги охарактеризовали две части теста. Несколько слов нужно сказать о третьей части. Здесь задания были охарактеризованы как логико-математические. В действительности эти вопросы практически не требуют никаких специальных математических познаний. Более того, они практически не связаны с экономикой, за исключением одного вопроса, в котором мне экономическая нагрузка казалась очень легкой. Я просто приведу несколько примеров.
Первый, кстати сказать, он отчасти связан с возникшим здесь спором о шкалах. Студент выполняет тестовые задания, их много, по каждому заданию есть 4 варианта ответа, о которых известно, что один из них правильный. Нужно выбрать правильный ответ и за правильный ответ он получает 2 балла, за неправильный минус 1, а за отказ 0 баллов. У студента есть некое субъективное распределение вероятностей правильности этих ответов. Спрашивается, какому условию должно отвечать распределение этих вероятностей, чтобы студент предпочел уклониться от ответа. Вот такова задача. Это единственная задача, где что-то надо было считать. Из математики надо представлять себе лишь то, что если вопросов много, то надо максимизировать математическое ожидание числа баллов, а как его максимизировать по четырем исходам с заданными вероятностями исходов - вещь несложная. Еще одна задача была такова: секретарша напечатала четыре письма разным адресатам и отпечатала для них четыре конверта с адресами. Но потом по рассеянности разложила письма по конвертам случайным образом. Спрашивается, какова вероятность, что ровно три адресата получат свои письма. Правильный ответ - 0: если первый, второй и третий получили адресованные им письма, то остался четвертый, который соответственно получает предназначенное ему письмо. Здесь надо было лишь понять ситуацию, больше ничего.
Перейду к основной теме доклада.
Подготовленность студента имеет две стороны - количественную и качественную. Количественная сторона (мы будем называть ее уровнем подготовленности) характеризует общую успешность решения поставленных задач, качественная связана с тем, что одни студенты легче и лучше справляются с задачами одного типа, другие - с задачами другого типа.
Нас интересовал не только уровень, но и структура знания. Мы пытались понять, из каких компонент это знание складывается, что? именно порождает правильные и неправильные ответы. При этом тестовые задания не имели качественной маркировки, то есть их составители не указывали на какие именно способности, стороны подготовки и т.д. ориентировано то или иное задание. Нужно было понять, что спрятано внутри ответов, когда из вопросов и полученных ответов ничего в явном виде не известно. Единственной возможной процедурой, позволяющей выяснить, что заложено в каком-то элементе теста, с одной стороны, а с другой - какие именно факторы того, что мы называем подготовкой студента, помогают ему правильно ответить на вопросы является т. н. метод главных компонент, разновидность факторного анализа.
Мы могли догадываться, что самое сильное обстоятельство - это общий уровень студента, который даст нам положительные коэффициенты по первой главной компоненте (первая главная компонента - комбинация из всех оценок, максимально коррелированная со всеми, обычно интерпретируемая как общая корреляция). Что же будет со следующими компонентами, сколько их будет, как их интерпретировать (в смысле какой-то оппозиции) - заранее не было ясно.
В табл. 1 представлены результаты анализа для специальности "Экономическая теория". При компонентном анализе рассматривались не все 70 тестовых вопросов в отдельности. Они были объединены в 4 блока - по дисциплинам (микро- и макроэкономика, мировая экономика, статистика) с использованием средней оценки для каждого блока. Восемь аналитических заданий (2.1-2.8) и четыре математических (3.1-3.4) были представлены по отдельности.

Таблица 1. Экономическая теория.
1.А. Главные компоненты
 
1
2
3
4
Микроэкономика
0,47
0,68
-0,14
0,19
Макроэкономика
0,40
0,71
-0,16
0,06
Статистика
0,40
0,62
-0,12
0,15
Мировая экономика
0,30
0,67
-0,22
-0,06
2.1
0,50
-0,32
0,10
0,48
2.2
0,55
-0,30
0,14
0,43
2.3
0,60
-0,34
-0,13
0,24
2.4
0,51
-0,12
-0,28
-0,26
2.5
0,65
-0,29
-0,14
0,16
2.6
0,57
-0,42
-0,30
-0,20
2.7
0,63
-0,36
-0,20
-0,22
2.8
0,66
-0,19
-0,09
-0,39
3.1
0,46
0,23
0,32
-0,32
3.2
0,52
0,41
0,37
-0,16
3.3
0,45
0,14
0,61
0,09
3.4
0,28
-0,22
0,60
-0,19
Собств. значение
4,17
2,83
1,37
1,05
Доля вариации, %
26,03
17,68
8,54
6,55


1.Б. Дифференциация по 2-й ГК
 
 
Макроэкономика
0,71
Микроэкономика
0,68
Мировая экономика
0,67
Статистика
0,62
3.2
0,41
3.1
0,23
3.3
0,14
2.4
- 0,12
2.8
- 0,19
3.4
- 0,22
2.5
- 0,29
2.2
- 0,30
2.1
- 0,32
2.3
- 0,34
2.7
- 0,36
2.6
- 0,42


Как показывает табл. 1.А, достаточно заметными оказались четыре главные компоненты, в особенности - первая и вторая. Первой ГК отвечает довольно большое собственные значение: 4, 17, т. е. на нее приходится 26% общей вариации. Видно, что все коэффициенты положительны, и притом примерно одинаковы по величине: почти все коэффициенты лежат в пределах 0,4-0,6. Это значит, что 1-ю ГК формируют все ответы с примерно одинаковыми положительными весами. Иными словами, она характеризует то, что мы назвали уровнем подготовленности в целом.
Вторая главная компонента также имеет довольно значительное собственное значение (2,83), и 18% вариации падает на нее. Здесь задания распадаются на две примерно равные по численности группы. В одну группу входит целиком основной тест и третья группа вопросов, за исключением четвертого, и входят с положительным знаком. А все аналитические задания, второй раздел, все до единого, имеют знак минус. Это была своего рода неожиданность: ожидалось, что вопросы из второй и третьей группы будут в некоторой оппозиции к первой, где надо выбирать ответ из предложенного списка, т. е. предлагаются более или менее стандартные вопросы. Но получилось иначе.
Этот результат нужно интерпретировать, но, честно говоря, безусловной интерпретации у меня на сегодня нет. Когда мы все вместе обсуждали возможные интерпретации, В. С. Магун предложил мне такую: 2-я ГК характеризует разницу между умением решать учебные задачи (а первая и третья группа вопросов носят как раз такой характер) и умением анализировать вопросы, имеющие отношение к реальной жизни (вторая группа). Это, конечно, возможная интерпретация.
В табл. 1.Б. вопросы проранжированы по второй ГК. Сначала макроэкономика, потом еще три дисциплины первого блока, потом три из четырех вопроса третьего блока, а потом идет третий блок. Возможно, более детальный анализ самих заданий, расположенных в этой шкале, позволит нам в конце концов более ясно понять, что кроется внутри второй компоненты.
На остальные ГК падает значительно меньшая доля вариации, и их не стоит рассматривать.
Теперь обратимся к другим специальностям. В табл. 2 представлены результаты для специальности "Бухгалтерский учет и аудит".
Здесь выделились 5 ГК, более или менее значительных. В первой ГК почти все вопросы имеют положительные коэффициенты. Единственное исключение составляют проводки, имеющие практически нулевой коэффициент, что само по себе несколько странно. Но это уже вопрос к специалистам в области бухгалтерского учета: почему умение делать проводки так слабо связано с общим уровнем успеваемости. Но в целом и здесь 1-я ГК интерпретируется как общий уровень подготовленности.
Вторая ГК. Здесь, как и для "Экономической теории", первый и третий разделы находятся в оппозиции второму, причем в отличие от экономической теории вопросы из первой и третей частей несколько перемешались (табл. 2.Б). Но в целом оппозиция носит тот же характер, что дает основание предположить аналогичную интерпретацию.

Таблица 2. Бухгалтерский учет и аудит.
2.А. Главные компоненты
 
1
2
3
4
5
Вопросы
0,57
0,05
- 0,29
- 0,15
- 0,22
Проводки
- 0,07
0,23
0,60
0,54
- 0,03
2.1
0,23
-0,44
0,02
0,52
0,39
2.2
0,26
-0,53
0,07
- 0,11
0,62
2.3
0,35
-0,04
0,52
- 0,34
0,06
2.4
0,29
-0,44
- 0,09
0,57
- 0,25
2.5
0,22
-0,66
0,30
- 0,11
- 0,38
2.6
0,52
-0,47
0,03
- 0,38
- 0,14
3.1
0,60
0,20
0,06
0,24
- 0,40
3.2
0,61
0,10
- 0,50
0,16
0,16
3.3
0,69
0,53
- 0,04
- 0,01
0,17
3.4
0,53
0,39
0,45
- 0,06
0,18
Собств. значение
2,47
1,86
1,28
1,27
1,07
Доля вариации, %
20,55
15,53
10,67
10,55
8,91


2.Б. Дифференциация по 2-й ГК
 
 
3.3
0,53
3.4
0,39
Проводки
0,23
3.1
0,20
3.2
0,10
Вопросы
0,05
2.3
- 0,04
2.1
- 0,44
2.4
- 0,44
2.6
- 0,47
2.2
- 0,53
2.5
- 0,66


Несколько более сложная картина сложилась со специальностью "Финансы и кредит" (табл. 3).
Здесь выделяются всего три ГК. У первой ГК все коэффициенты положительны, т. е. это, как и в предыдущих случаях, общая успеваемость, смысл первой ГК во всех трех случаях одинаков. Вторая ГК дает в данном случае нечто другое. Здесь поляризовались первый и последний раздел: у первого все коэффициенты отрицательны, у последнего - все положительны. А второй раздел разделился. Часть коэффициентов положительна, часть - отрицательна. Но вот третья ГК, которая почти такая же по силе, как и вторая (12,57% общей вариации против 14,32%), ведет себя "нормально" в нашем смысле: четкие минусы во всей второй группе и оппозиция по отношению к первой и третьей части теста.

Таблица 3. Финансы и кредит.
3.А. Главные компоненты
 
1
2
3
Финансовый менеджмент
0,43
- 0,25
0,21
Финансовые рынки и институты
0,62
- 0,36
0,41
Государственные финансы
0,29
- 0,41
0,55
2.1
0,66
-0,39
- 0,10
2.2
0,64
- 0,05
- 0,47
2.3
0,73
- 0,22
- 0,24
2.4
0,55
0,17
- 0,47
2.5
0,50
0,28
- 0,17
3.1
0,37
0,57
0,07
3.2
0,41
0,35
0,41
3.3
0,36
0,50
0,53
3.4
0,22
0,60
- 0,01
Собств. значение
3,05
1,72
1,51
Доля вариации, %
25,46
14,32
12,57


3.Б. Дифференциация по 2-й ГК
 
 
Государственные финансы
0,55
3.3
0,53
Финансовые рынки и институты
0,41
3.2
0,41
Финансовый менеджмент
0,21
3.1
0,07
3.4
- 0,01
2.1
- 0,10
2.5
- 0,17
2.3
- 0,24
2.4
- 0,47
2.2
- 0,47


По-видимому, вне зависимости от того, по какой специальности обучаются студенты, вне зависимости от того, как их отбирали, что давали в вузах, что дается за счет обучения, что дано ранее, - это пока от нас спрятано, но видна стабильная оппозиция: одна часть на одном полюсе, две других - на другом. Вот это эффект, который был замечен.
Все эти результаты получены по множеству ответов и относятся к всему массиву. Теперь возникает вопрос: мы получили статистические характеристики всей совокупности студентов, обучающихся по каждой из специальностей, но что мы можем сказать о вузах? Мы теперь можем использовать главные компоненты, сосчитать их численные значения для каждого из студентов в отдельности и в каждом вузе получается свое распределение. Что же получилось?
Первая главная компонента не очень интересна - она всюду положительна. Можно было бы ожидать, что где выше успеваемость, то там и выше среднее значение первой главной компоненты по вузу. Так и получилось. Из пяти вузов, которые были представлены по экономической теории, два, как известно, получили средний балл примерно 14. Среднее значение первой ГК у них оказалось примерно -1,5. Третий вуз, занимающий промежуточное положение, получил значение первой ГК 0,15, но это маленькое значение показывает большое отличие от -1,5. А 4-й и 5-ый вузы, средние баллы в которых были 61 и 64, получили среднее значение первой ГК 0,50 и 0, 52. Иными словами, мы получили ту же самую картину с другим масштабом и началом отсчета. Это подтверждает предположение о том, что мы имеем дело с некоторой общей характеристикой успеваемости. Что касается второй главной компоненты, то тут можно было ожидать, что она будет где-то около нуля - это означало бы, что студенты разной "качественной" ориентации представлены в одинаковой пропорции. Оказалось, что всюду довольно маленькие значения, по модулю около 0,1, кроме третьего вуза, который занимал промежуточное положение по общей успеваемости, там получилось 0,43. Принимая предложенную ранее трактовку, можно сказать, что вторая компонента здесь сильно ориентирована на "школьные" ответы.
По бухгалтерскому учету. Здесь также первый фактор ничего особенно интересного не показывает, а вот по второй ГК наблюдается достаточно сильная дифференциация по вузам. Первый вуз +0,44, второй -0,32 и третий около 0. Это означает, что первый вуз имеет сильную "школьную" ориентацию, второй - "жизненную", а в третьем все в значительной мере перемешано.
Ну и, наконец, по финансам, где нас интересует третья ГК. Там третий институт существенно выдается в одну сторону и почти настолько же четвертый - в другую сторону. Третий дает минус, т.е. ориентация на вторую группу вопросов, а четвертый - с плюсом и ориентацией на первую и третью часть теста. Остальные вузы имеют существенно меньшие значения этой ГК. Если нам удастся разумно проинтерпретировать эти результаты, то для самих вузов это представляет интерес, они могут увидеть, в какую сторону направлено обучение и в каких направлениях у них имеются упущения.
Спасибо за внимание.

А.Л. Денисова
Позвольте, я задам уточняющий вопрос: каково содержание первой главной компоненты по разделу "Экономическая теория"?
П.А. Ватник
В экономической теории, также как и по другим специальностям, мы интерпретируем это содержание как общий уровень подготовки. Второй же фактор получается после как бы выравнивания, элиминирования различий в общей успеваемости. И за каждое качественное различие ответственна своя главная компонента. Во втором случае также есть дифференцирующий признак, который мы пока считаем так: на одном полюсе - задания "учебного" типа, т.е. 60-70 вопросов первой части и третья часть, где даны, конечно, модельные ситуации, а не жизненные: кому надо разламывать шоколадку и рассчитывать количество необходимых разломов? Это тоже задания школьного типа. Вторую группу составляют задания нешкольного типа, которые требуют осмысления, обоснования. Пока мы даем такую интерпретацию. Но это только с учетом знаков. Если мы еще посмотрим на величины, какие сильные и слабые, мы, может быть, убедимся в правильности такой интерпретации, а может, нет. Остальные главные компоненты мы еще не брались интерпретировать, и не думаю, что там может получиться что-то разумное, т.к. в силу вступают всякие фоновые обстоятельства. И элиминировав два первых, дальше уже сложно понять, что является основным "растягивающим" фактором.
А.Л. Денисова
А не считаете ли Вы, что проводится достаточно формальное использование какого-то статистического аппарата к оценке успеваемости в вузе. Вы выполните исследование, и предложите какой-то аппарат. Но по этому аппарату нельзя оценить качество работы профессорско-преподавательского состава. На мой взгляд, пока аппарат работает формально и формально привязывается к данным. Т.е. методика может не отражать реального состояния дела. Красивая математическая обработка данных не дает результатов качественного анализа.
П.А. Ватник
Считаю ли я это формальной обработкой? Да, это формальная обработка. Безусловно. Мы берем все цифры, которые у нас получились и пропускаем через статистическую "мясорубку". Вот что интересно: мы по трем специальностям получили одинаковые результаты. Это же интересно? Это ведь нельзя объяснить простым совпадением. Это означает, что во всех вузах, в которых ведется обучение этим специальностям, выявлена некая оппозиция в их подготовленности. Если мы игнорируем, элиминируем общий уровень успеваемости, то почему одни студенты хорошо отвечают на одни вопросы, а другие - на другие. Соответственно группируются и вопросы. И в институтах, при усреднении, эта тенденция обнаруживается и не уходит в ноль. Одни вузы ориентированы на решение практических задач, другие - теоретических. За счет ли того, что там так учат, или за счет того, что так подобрали студентов, - такого вывода мы не делаем. Равным образом мы не делаем вывода о том, что хорошо, а что плохо, какой уклон хороший, а какой - нет.
М.И. Левин
При проведении анализа Вы смотрели гистограммы по вузам, насколько они перекрываются, насколько они "залезают" друг к другу?
П.А. Ватник
По главным компонентам мы такой анализ не производили, мы проводили его по отдельным позициям. Они перекрываются.
И.В. Пантина
Добавлю, что по одной специальности, сейчас я, к сожалению, не могу сказать по какой, идет дополнение гистограмм, т.е. они продолжают друг друга - и идет четкое ранжирование. По другим они наслаиваются и повторяют друг на друга. В том случае, когда мы получаем наслоение, мы говорим, что в разных институтах встречаются студенты с разной подготовкой, и мы можем там встретить студентов как с высоким уровнем подготовки, так и посредственных. По другой специальности, когда одна гистограмма следует за другой, то можно сказать, что студенты из одного вуза преимущественно лучше, чем студенты из другого.
В.С. Автономов
Если вопросов больше нет, то я бы добавид свой комментарий. Мы часто слышали о различиях между нашей, советской, российской школой и школой западной, англо-саксонской и так далее. И разница в том, что наша школа больше "знаниевая", а та - больше "умениевая", что мы хорошо знаем все какие-то факты, умеем решать задачи по каким-то формальным алгоритмам, но что у нас плохо - так это применение знаний на практике, в каких-то проектах, в исследованиях. А за рубежом последнее - как раз более сильная сторона. Не укладывается ли то, что мы увидели, в эту картину? Т.е. студенты, у которых с первой и третьей частью все хорошо - это представители нашей школы, а те, у которых хорошо только со второй группой - это некие "иноземные" растения, произрастающие на нашей почве?
В.С. Магун
По поводу факторов. Мне кажется, что это действительно интересный результат, о котором рассказал Павел Абрамович, но особенно приятно, когда ситуация развивается. Первый докладчик сказал, что наличие экономических знаний не тождественно наличию экономического мышления, имея в виду соотношение первой части и второй части - свободных вопросов. За время нашего обсуждения этот вывод преобразовался в более сложную картину. Оказалось, что не тождественно, но ответ более сложен. В каких-то рамках оно тождественно - в этих рамках все способности и к "школярским" вопросам, и к свободным выступают как единое целое, как единая способность, общий фактор. И это генеральный фактор. Т. е. у нас в выборке есть несколько тенденций, и доминирующей является тенденция тождественности того, что называется знанием и мышлением. Все-таки не нужно забывать, что основная тенденция общая, т.е. кто не тянет на проводках или на алгоритмах, то тот не тянет и с "алхимией финансов", в более творческих заданиях. И это, может быть, имеет и практическое значение. Если кто-то когда-то будет заниматься общей оценкой, то значит можно для первой грубой оценки оценить эту первую компоненту, и уже что-то можно будет понимать. Что же до второй компоненты, то она несколько усложняет эту картину, и действительно есть качественные различия в рамках постоянной суммы. Есть своеобразные качели умений. И можно уже решать, какие стили нам важны, и на какие следует тратить силы. И это принципиальные вещи для практического прочтения наших задач по оценке умений, навыков, для сравнения разных школ преподавания.

-


+