Economicus.Ru - Основы экономики - Семинар "Методики исследования" : Доклад И.Н. Баранова

Высшее экономическое образование в России на рубеже веков: трудности освоения нового содержания.

Проект поддерживается Министерством образования РФ и Фондом Форда.

Руководители проекта: Иванов М. A., Магун В.С.

На протяжении прошедшего десятилетия российское высшее экономическое образование (ВЭО) в целом переориентировалось на следование рыночной доктрине. Теперь представляется важным оценить содержательные результаты этого процесса. В какой мере рост числа студентов, обучающихся "новой" экономике, появление новых вузов и факультетов, издание учебных пособий ведут к конечному результату - подлинному усвоению учащимися современных экономических знаний? Насколько качественна издаваемая учебная литература? Каков профессиональный уровень преподавателей, действующих в настоящее время в вузах? (см. также)

Данный планировочный проект посвящен решению следующей проблемы: определению содержательных квалификационных результатов ВЭО и анализу непосредственных условий их формирования.

Семинар "Методики исследования" : Доклад И.Н. Баранова (к.э.н., ст. преподаватель факультета менеджмента Санкт-Петербургского государственного университета).

В процессе подготовки к организации тестирования, когда важно было понять - что спрашивать и в какую очередь, мы изучили квалификационные экзамены в области учета и финансов, которые существуют и за рубежом, и в России. Во-первых, есть экзамены, которые подтверждают определенный уровень образования, и даже в большей степени способность учиться дальше. В области экономики это GRE, о котором уже шла речь. В области же бизнеса это GMAT (graduate management admission test). Но в отличие от GRE, GMAT в меньшей степени ориентирован на профессиональное знание. Там анализируются знания более широкого плана и, кроме того, существенную его часть занимают вопросы на понимание текста, на умение работать с каким-то материалом, на знание неких общих математических вещей. И взять оттуда вопросы профессионального характера не представляется возможным.

Есть, конечно же, многочисленные квалификационные экзамены, которые подтверждают профессиональную квалификацию человека. Например, в США наиболее известным из здесь перечисленных является CPA (Certified public accountant) - в нашем широком понимании это финансы, бухгалтерия и аудит. Есть отдельная квалификация Certified management accountant и существует также сертификат в области финансового менеджмента. Отличительная особенность этих квалификационных экзаменов - это наличие профессиональных организаций, условием вступления в которые является сдача этих тестов. В случае CPA - это American Institute of Certified public accountants. И в случае двух последних (в области управленческого учета и финансового менеджмента) это Institute of management accounting. В данных экзаменах идет своего рода проверка на входе в профессию. Эти экзамены состоят из нескольких частей. CPA, например, состоит из четырех разделов. Помимо собственного финансового учета, спрашивают и по финансовому менеджменту, и по коммерческому (бизнес) праву, по стыковым моментам различных областей знаний - методы принятия решений, например. В управленческом учете это еще более ярко выражено. Из шести блоков, только один посвящен непосредственно управленческому учету. Все остальное - тестирование на общие знания. Кроме того, все эти тесты проводятся весьма основательно. Они рассчитаны на сдачу в течение двух дней. Процедуры могут быть разными, но обычно сочетаются комбинации письменных и устных вариантов тестирования. Применяемые типы заданий - выбор правильного ответа из нескольких вариантов, написание эссе и решение задач. На это можно ориентироваться - все материалы опубликованы на сайтах профессиональных организаций. Аналогичные экзамены есть и у нас.

У нас существуют две организации, которые проводят подобные экзамены. В первую очередь, это Институт профессиональных бухгалтеров России. Они проводят три квалификационных экзамена: на профессионального бухгалтера, на финансового менеджера и на аудитора. Экзамены весьма схожи с экзаменом CPA - они также рассчитаны на два дня, также используется широкий круг вопросов и аналогична процедура сдачи. В области финансов еще есть экзамены ФКЦБ, в частности, нас интересует экзамен на аттестат руководителя и специалиста - профессионального участника рынка ценных бумаг. Можно и эти данные использовать в качестве критерия, от которого можно вести разработку вопросов.

На наш взгляд, именно этим путем и нужно идти. Если человек заканчивает вуз по специальности бухгалтерский учет, например, то это предполагает, что он должен уметь вести бухгалтерские дела какой-то компании. К тому же, он должен стать и членом профессионального сообщества. Поэтому бухгалтерская часть нашего теста была во многом основана на тех требованиях, которые предъявляются Институтом профессиональных бухгалтеров к претендентам. То же самое и с ФКЦБ. Чтобы заняться деятельностью в данной области надо иметь этот сертификат. Соответственно, выпускник вуза по специальности "Финансы и кредит" должен обладать минимальным набором знаний и умений, чтобы сдать этот аттестат. Итак, я перечислил те квалификационные экзамены, которые мы использовали в качестве некоего базового отправного пункта.

Выбирая структуру теста, мы столкнулись с проблемой того, как очертить те предметные области, по которым должно вестись тестирование. Возьмем, например, финансы. Для финансистов традиционно во всех вузах большой объем времени занимает профессиональная учетная и аналитическая подготовка - в рамках кафедр бухгалтерского учета и экономического анализа. Нужно ли включать этот материал в тестирование? Мы решили предметы, которые тесно связаны с данной специальностью, но которые не формируют ее лицо, не включать в тест, и выбрали три блока в каждой из специальностей. В области "финансы, денежное обращение и кредит" это - финансовый менеджмент, финансовые рынки и институты (не выделяя отдельно, скажем банковскую деятельность) и общественные финансы. В области бухгалтерского учета и аудита были выбраны бухгалтерский учет, анализ отчетности и управленческий учет. У нас были некоторые сомнения, включать ли аудит, но это, все-таки, сфера деятельности, которая, как правило, начинается не сразу после вуза, а лишь через некоторое время и требует определенного стажа работы. Поэтому предпочтение было отдано управленческому учету вместо аудита.

В.С. Магун.

А в чем для неспециалиста разница между учетом и аудитом?

И.Н. Баранов.

Аудиторы - специалисты более высокой квалификации, в сферу задач которых входит проверка подготовленной отчетности.

По вопросу соотношения вопросов разных предметных областей. Сначала мы решили выделить на каждый из указанных блоков по трети вопросов. Потом мы отказались от подобного подхода. Если посмотреть на структуру квалификационных экзаменов (и наших, и зарубежных), то можно заметить, что предметные области не представлены равномерно. Тот же управленческий учет в экзамене на CPA занимает 10% от общего объема вопросов, что, наверное, отражает вероятность попасть на работу, связанную с управленческим учетом для того, кто получил данный сертификат. То же самое мы видим и у нас. У нас пока управленческий учет слабо представлен в подготовке бухгалтеров. И мы отдали этой теме 15% вопросов (т.е. 11 из 71). Остальные 60 вопросов по учету были связаны с тематикой непосредственно бухгалтерского учета и анализа отчетности.

Что касается вопросов по области "финансы, денежное обращение и кредит", немного меньшую долю заняли вопросы по общественным финансам, а оставшиеся вопросы были поровну поделены между "финансовым менеджментом" и "финансовыми рынками и институтами".

Кроме того, в процессе составления вопросов мы сразу же поставили перед собой задачу разделить их по уровню сложности. Было выделено три категории вопросов. По сути, на "3", на "4" и на "5". То есть вопросы, которые были бы заданы на экзамене, если бы студент претендовал на определенную оценку. В процессе тестирования интересно было отследить, совпали ли наши ожидания относительно сложности вопросов с тем, насколько успешно на эти вопросы отвечали студенты. Продолжительность тестирования и количество вопросов мы выбирали, следуя уже установленному порядку в исследовании знаний по экономической теории - 90 минут и 71 вопрос. Также мы сохранили процедуру определения набранных баллов: 2 балла за правильный ответ, 0 за пропуск, -1 за неправильный ответ.

Определившись с этими основными параметрами, мы приступили к непосредственной разработке тестов. Здесь опять-таки встал вопрос - на что ориентироваться. Ведь один и тот же курс, который может соответствовать некоему государственному стандарту, скажем по финансовому менеджменту, в разных вузах может читаться по-разному. Тут мы сталкиваемся с гораздо большей дифференциацией, чем по микро- и макроэкономике. В данной области полной унификации пока не произошло. Поэтому нам приходилось ориентироваться, с одной стороны, на то, что содержится в стандарте. С другой, на содержание профессиональных квалификационных экзаменов. А также на содержание базовых учебников по данным дисциплинам. Был составлен их список. Он определялся по программам вузов с нашим добавлением тех, которые могут являться заменителями указанных в программах.

Естественно, что для нас было важно, чтобы выбранные учебники отражали современный уровень преподавания. Поэтому, если вы обратите внимание, в основном в нашем списке находятся переводные учебники. Отечественные разработки присутствуют, если имеют относительно бесспорный характер. В качестве примера можно привести учебник Л.И. Якобсона по общественным финансам, который имеет самое широкое распространение. Кроме того, отечественные учебники могут использоваться для того, чтобы отразить национальную специфику. Здесь, в отличие от экономической теории, от нее мы не уходили. Дисциплины в этой части исследования являются прикладными, и если мы не знаем, как у нас устроен рынок, какие требования предъявляются к его участникам, как рынок работает в целом, то это непрофессионально. Например, учебники, описывающие бюджетную систему, интересовали нас не с технической точки зрения, а скорее с описательной - какие есть налоги, как они работают и т.д.

Таким образом, у нас сложились границы предметных областей, в которых мы уже составляли вопросы. Мы ориентировались на то, что надо использовать вопросы как минимум трех типов: собственно текстовые - на выбор правильного ответа; вопросы, где присутствуют графики, для большей проверки потенциальных профессиональных качеств; и так называемые вопросы со свободным вводом ответа (в максимальной степени это воплотилось в бухгалтерском учете, что отражает специфику специальности).

1) Второй стадией стала непосредственная апробация теста. Мы выбрали три вуза, где проводили исследования. В отличие от экономической теории, в этих вузах у нас не было ограничений на обнародование факта тестирования

Отличительные особенности вузов я здесь рассказывать не буду, подробную информацию об этом можно найти в отчете. Их отношение к проведению тестирования я уже отразил - во всех трех вузах мы встретили весьма доброжелательное отношение.

Об организации тестирования. Оно проводилось самими преподавателями, в инженерно-экономическом университете, например, в случае исследования направления "Финансы" это был просто заведующий кафедрой. Студентов заранее не извещали о проведении теста. Кто пришел, тот писал. Выборка была случайной, никого не оставляли специально. Все было в рамках обычных учебных пар.

Несколько слов по поводу процедуры тестирования и отзывах студентов о достаточности времени и восприятии информации. По двум проведенным тестам были получены неравномерные результаты - по бухгалтерскому учету времени видимо не хватило (был замечен больший процент отсутствия ответов), в то время как по финансам были даны ответы практически на все вопросы.

По результатам тестирования. Я сконцентрируюсь на самых существенных вещах, т.к. в целом анализ соответствовал анализу данных по экономической теории.

По бухгалтерскому учету. Разница между первым и четвертым квартилями. У нас получилось, что правильных ответов в первом квартиле было лишь 42%, а в последнем - 23%. Т.е. дискриминирующая сила не такая большая. Но это во многом связано с тем, что большинство просто не уложилось по времени. Возможно, если бы тест был более продолжительным - не полтора часа, а два, то дифференциация была бы более четкой - т.к. в ограниченное время студенты выбирают более или менее одинаковые вопросы. Это видно. Более сложные или "затратные" вопросы они пропускали - требующие расчетов или проводок. В целом, оказалось, что относительное простое для специалиста, оказалось сложным для студента. Дифференциация по этой тематике у нас была от 35 правильных ответов до 8 (из 71 вопроса).

В области финансов. По финансам ответили неожиданно хорошо. Хотя при отборе вопросов, особенно по рынку ценных бумаг (экзамен ФКЦБ), нам казалось, что вопросы сложные, оказалось, что это не так. Доля правильных ответов в первом квартиле составила 84%, в нижнем - 67%. Здесь, что называется, мы не попали "в уровень". Оказывается, что уровень знаний нынешних студентов вполне позволяет им сдать экзамен ФКЦБ, хотя бы в предложенной части. Не знаю, как они бы сдали его в других частях, но в этой бы сдали. Значит, градация студентов проходит на каком-то более высоком уровне, на который, как оказалось, мы в наших гипотезах не ориентировались. Разброс в правильных ответах был от 61 до 35.

Опять-таки, можно было бы привести анализ по предметам, специализациям и т.д. Кратко о нем. По тестированию бухгалтерского учета - хуже всего обстояли дела с управленческим учетом, это во многом определялось тем, что тестировался четвертый курс, и управленческий учет только-только начинался преподаваться. Были и объективные трудности - терминология в предмете еще не до конца устоялась.

По последнему пункту - ответам на вопросы разного уровня сложности. Здесь нас ждал сюрприз. Например, вопрос, набравший наибольшее количество правильных ответов по бухгалтерскому учету, был предварительно оценен на "5". И число вопросов, по которым мы, скажем так, не попали "в уровень" оказалось достаточно большим. Это одно из свидетельств того, что мы не всегда правильно представляем себе уровень подготовки и дифференциации в вузах. Скажем, мы предполагали, что в вузе, в котором отделение открылось относительно недавно, результаты будут хуже. Но мы видим, что на базовом уровне полученные результаты примерно одинаковы.

Наконец, перейду к выводам, которые мы сделали для себя по результатам исследования. Необходимость корректировать тесты очевидна. Касательно оценки общего уровня сложности теста, мы пришли к заключению, что тесты по бухгалтерскому учету примерно соответствуют тому уровню, который мы предварительно выбрали. Тесты по финансам требуют усложнения, т.е. добавления количества вопросов на "пятерочные" ответы и сокращения "троечных". Второй момент - правильно ли мы выбрали предметные области и соответствуют ли они учебным планам. Анализ учебных планов и распределения дисциплин по семестрам показал нам, что надо сместить акцент и проводить тест в конце четвертого курса, т.к. в начале курса мы получаем несколько искаженную картину. Далее, по использованию вопросов разных типов. Мы попытались посмотреть на качество ответов на разные типы вопросов. Выявилась картина дифференциации по ответам на них. Мы считаем, что число прикладных вопросов надо будет увеличивать. Все материалы и расчеты по результатам тестирования вы можете посмотреть в выданных материалах.

Вопросы и комментарии.

В.С. Автономов.

На мой взгляд, объяснением того, что в исследованных Вами вузах шли навстречу и не боялись соперничества, является то, что в этих двух областях существует некий профессиональный консенсус. Кроме того, не наблюдается остаточных противоречий между "старой" политэкономией и "новым" economics'ом. Второй момент - неожиданно хороший результат, как мне кажется, может быть связан с тем, что студенты работают в данной области и дополняют практикой свои познания в теоретической области. В этом их можно сравнить их с группой "учителей" в исследовании экономической теории.

И.Н. Баранов.

Я согласен с Вами полностью, а что касается конкуренции, то скорее имеет место позиционирование отдельных групп преподавателей и исследователей в различных сферах.

В.С. Магун

У меня такой вопрос. Вот вы говорили про разницу "дискриминирующей силы" отдельных категорий заданий между первым и четвертым квартилями и называли среднюю величину - 20-27 баллов. Но если взять не категории, а отдельные задания, эта величина, наверное, была больше?

И.Н. Баранов

Да. Это так.

В.С. Магун.

Тогда, опять-таки включается механизм фильтра. Подобные вопросы можно отбрасывать. Сколько останется вопросов в тесте, если произвести подобную выбраковку? Приблизительно, конечно.

И.Н. Баранов.

По моей оценке по финансам, например, надо отбросить вопросов десять, не менее.

В.С. Магун.

Для российского, по сути, теста это неплохой результат. Вы подали весь тест в несколько негативном отображении, в то время как за средними цифрами по категориям могло, как и оказалось, скрываться некоторое количество просто плохих вопросов.

А.П. Заостровцев.

Хочу подчеркнуть уже прозвучавшую мысль, что сравнительный анализ результатов тестирования по экономической теории и финансам с бухгалтерским учетом показывает некую принципиальную разницу: студент, который уже изучает бух. учет или финансовый менеджмент, которые станет его непосредственной профессией, знает, что будет делать в жизни после окончания вуза - возможности найти работу по специальности весьма широки. Изучающий же экономическую теорию не знает, что он будет делать, многие уже по ходу учебы испытывают разочарование и нацелены на формальное получение диплома и последующий поиск работы в бизнесе через родителей, знакомых, друзей. Причем с последующим изучением того же бухгалтерского учета. И эта принципиальная разница сказывается.

В.С. Магун.

Несомненно, существование разного престижа теоретического и прикладного знания - это очень значимый социальный факт

В.С. Автономов.

Добавлю, что американские студенты, изучающие экономическую теорию, знают, что их рынок труда весьма широк и конкурентен - в разных университетах. В этом отличие от российской ситуации.

В.С. Магун

Отмечу, что исследования двух групп разработчиков тестов дают очень интересные "побочные" результаты, даже более интересные иногда, чем непосредственный предмет их деятельности. Нам важно не потерять эти результаты на дальнейших фазах исследований.

В. В.Быков.

Что касается дальнейших исследований, то мне кажется, что имеет смысл опрашивать по экономической теории, например, студентов специальности "Финансы и кредит". Уверен, что зачастую результаты могут быть лучше. Причина в том, что выбирающие направление "Экономическая теория", особенно в процессе учебы в вузе, есть уже результат некоего неблагоприятного отбора.

А.П. Заостровцев.

Несомненно также, что на результаты теста повлияет и закладываемый в тест уровень мотивации. Об этом уже говорилось и это принципиально важно.

В.С. Магун.

Если вопросов и замечаний больше нет, то я предлагаю взять слово Павлу Абрамовичу Ватнику, который вместе с Михаилом Алексеевичем Ивановым провел анализ информационных ресурсов, из которых студенты и черпают свои знания.