About The School of Economics Institute
Education
Publishing
Projects











English version

 Проекты 
дНЛЮЬМЪЪ ЯРПЮМХЖЮ

Проекты










В.С. Автономов
У нас было много интересных докладов по тестам, методике. Под конец предлагаем поразмышлять о перспективах данного исследования, направлениях возможного распространения. Я предлагаю Михаилу Алексеевичу Иванову начать дискуссию по этому поводу.
М.А.Иванов
Посылая нанимателю сигнал о своих потенциальных способностях, работник с дипломом бакалавра попадает в более высокую категорию оплаты, чем работник без диплома. Диплом сигнализирует об отсутствии некоторых плохих (лень, неспособность преодолевать трудности) и присутствии некоторых хороших (усердие, терпение, сообразительность) качеств для обеспечения производительности работника, которые нельзя непосредственно наблюдать в момент приема на работу.
Такой грубый механизм опознания уровня накопленного человеческого капитала и других свойств, способствующих производительности работника, в условиях асимметрии информации используется рынком труда при приеме на работу.
Промежуточные результаты, полученные в нашем исследовании, позволяют надеяться на их дальнейшее использование при формировании рейтинга отдельных учебных программ. Почему отдельных программ, а не отдельных вузов? Уровень и качество исполнения отдельной учебной программы, как правило, зависит от выпускающей кафедры и может соответствовать реальному потенциалу такой кафедры, как более или менее однородной единицы. Что же касается вуза, то обычная неоднородность квалификационного уровня кафедр и факультетов привела бы к условной оценке. Это не означает, что высокие рейтинги по профильным учебным программам определенного вуза не принесут ему заслуженной славы.
Рейтинг программ позволяет единообразно оценить уровень знаний по итогам четырех лет обучения. Полученные оценки позволяют самим вузам и рынку труда ориентироваться на количество лет обучения как сигнал качества. Требования, предъявляемые к испытуемым, ориентируются на стандарт и тем самым вполне доступны для каждого вуза.
Понятно, что если по той же специальности средний балл у одного вуза равен 50, а у двух других равен 25 или 75, то 4 года образования имеют разную ценность и рынком труда не могут восприниматься как равные четыре года. Поэтому для ориентирования абитуриентов, самих вузов и рынка труда полезна информация, полученная с помощью одинаковых процедур оценивания итогов обучения.
Сегодня имеют место, как мне кажется, две тенденции: - одни вузы квалификационно растут, а другие деградируют. И есть опасность сговора между тем, кто получает образование, и тем, кто его дает. Естественно, это препятствует конкуренции и вносит искажение в сигнал, посылаемый вузом и выпускником, рынку образования (абитуриенту) и рынку труда (нанимателю).
Апробация такого рейтинга и его регулярные составление и публикация требуют гораздо большей работы, чем та, которая была проведена нами.
Особое внимание должно быть уделено сопоставимости результатов.
В то же время уже сейчас можно с уверенностью предположить, что проведение измерений должно быть независимым, а участие в рейтинговании - добровольным.
Интересно то, что знание испытуемыми теста или его модификаций при столь большом объеме и разнообразии вопросов не может повлиять на результат, так как равносильно знанию названия учебника, который доступен испытуемому.
Можно предположить, что в добровольном рейтинговании поначалу примут участие наиболее сильные программы (факультеты, вузы). Поэтому, сам факт участия или неучастия в рейтинге будет также важен для престижа учебного заведения.
Не стоит забывать, что стремление обеспечить международную сопоставимость измерений также может быть полезным выпускник, вузу и рынку труда.
Индивидуальная академическая успеваемость каждого выпускника, при условии участия вуза в рейтинговании, становится более надежной оценкой его профессиональных достижений.
Исследование, проведенное дополнительно может выявить также слабые места в подготовке по тем или иным предметам или методам обучения. Поддаются оценке квалификация преподавателей, уровень общей подготовки и способностей студентов. Не всегда самому вузу удается подвергнуть себя беспристрастной самооценке и увидеть себя "со стороны", да еще обеспечить сопоставимость измерений. Спасибо.
А.Л. Денисова
Может быть имеет говорить не о рейтинге специальности, а о рейтинге образовательной услуги, об оценке ее качества? Чтобы рынку было понятно, о каких услугах идет речь, что они могут получить, если они, допустим, за своего перспективного сотрудника, что-то заплатят?
М.А. Иванов
Мне кажется, что мы не должны давать прямых рекомендаций рынку труда. Наша задача заключается в том, чтобы упорядочить какую-то информацию внутри академического сообщества. Сделать ее доступной.
Речь идет о том, чтобы расставлять вузы по отдельным специальностям. Т.е. если в узе есть несколько специальностей, то он может участвовать в нескольких рейтингах.
М.И. Левин
Я заострю проблему. Мы хотим рынок подменить? У нас неофициально в голове есть рейтинг вузов. И мы знаем, кто сейчас лучше всего готовит студентов. И их выпускники пока без работы не сидят. И создается высокая репутация. Мне кажется, что попытка понять - замечательна, но попытка построить внутренний рейтинг заранее мне кажется удивительно смелой. Вы сформулировали четкую проблему - учить надо трудно. Я хочу понять - можем ли мы как-то заранее создать механизм репутации.
М.А. Иванов
Я не претендую на то, чтобы сказать, как сделать. Я просто подозреваю, что надо сделать прозрачным то, что уже есть. Конечно, надо понимать, как измерять, но мы сейчас говорим о другом, о том, что и зачем делать.
В.П. Бусыгин
К сожалению, я не смог присутствовать в течение всего дня, но у меня создалось такое впечатление, что действительно проблематика семинара слегка перегружена. Не это главное, главное перегружены интерпретации проделанного исследования. Я понял проблематику исследования как попытку сделать вклад в понимание того, что происходит в этой сфере - исследование в жанре "экономика образования". Как мне показалось, в значительной степени авторам исследования, удалось создать некий framework для профессионального обсуждения интересных для сообщества вопросов.
С другой стороны, есть попытки сделать некие оргвыводы и мне кажется, что ни не всегда правомерны. Я согласен, что бессмысленно подменять рынок. Выявить, что происходит - это интересно, но попытаться эти расчеты сделать основанием для формальной классификации вузов - здесь есть мне кажется серьезная опасность. И не задача профессионального сообщества разрабатывать какие-то стандарты. В то же время задача каждого вуза - понять свою миссию, нишу. И как лучше эту миссию выполнить. Например вопрос о признании тестов, на мой взгляд, это обязанность каждого человека в среде сделать некие тесты, а задача сообщества признать их или не признать. Конечно, рынок образовательных услуг обладает информационной асимметрией, да, здесь нужен посредник между потребителями образовательных услуг и учебными заведениями. Кто и как должен выполнять эти обязанности - это проблема, но ее нельзя решить, назначив кого-то посредником.
Наверное, какой-то рейтинг был бы очень важен, но как его делать, на основе этих формальных процедур или на основе экспертных оценок людей с высокой репутацией - это вопрос не банальный. Я склоняюсь к тому, что это должны делать эксперты. Это не значит, что формальные методы надо исключить. Нет, остается как вспомогательный аппарат. Но в конечном итоге этот рейтинг должен быть подкреплен репутацией людей, которые получили ее ранее. Считаю, что репутация вуза - это его дело, и на ее поддержание он должен прежде всего тратить свои ресурсы. Я хочу сказать, что в этой области происходит многое, конечно, их надо укорять. Но в каком направлении и как то сделать - это решить можно не сразу.
М.А. Иванов
Два слова. У нас нет никакой ситуации, когда кто-то кого-то может назначить. Речь идет о том, о чем Вы и говорите - о самоопределении, поиске решения. Он чрезвычайно сложен. Но я хочу и о другом сказать. Существует, как мне кажется, две тенденции - одни вузы квалификационно растут, а другие деградируют. И есть опасность сговора между тем, кто получает образование, и тем, кто его дает. Продается бумага, право на обман. Конечно, рынок это постепенно распознает, но нечто подобное уже сейчас существует.
Журавская Елена Георгиевна (НК "ЮКОС")
Я хотела бы высказать следующие соображения. Рынок образования очень специфичен, но все-таки это рынок, поэтому, хотя мы и можем искать какие-то особые пути, но не должны забывать, что на нем также действует определенные рыночные законы. Разработка рейтингов на любом другом рынке - это не подмена планирования, не навязывание чего-то сверху, хотя мы знаем, что рейтинговые агентства часто занимаются, грубо говоря, шантажом. Мне кажется, что когда мы говорим, что и так знаем, в каких вузах хорошо учат, мы потом противоречим себе, задаваясь вопросом - почему же у отдельного вуза такая хорошая репутация? Это все разговоры, но наличие некоего общепризнанного рейтинга могло бы быть неплохим ориентиром. Он, конечно, не единственный ориентир, но мы не отрицаем законного места, скажем, банковских рейтингов, то почему сейчас, особенно в области экономического образования, где разброс очень велик и где происходят значительные изменения, почему не попробовать такой рейтинг, не вузов, а разных программ по разным вузам?
Очень многое будет упираться в финансирование. Безусловно, такой рейтинг от государства не пройдет. Это будет совсем не то. Здесь многое зависит от того, найдутся ли инициативные люди. Опыт показывает, что когда разработан хороший аппарат, и когда много энергии у людей организующий, финансирование находится. Сами вузы, заинтересованные в поддержании или повышении рейтинга, могут даже послужить помощью. И сейчас тот самый момент, когда можно было бы попытаться создать такую рейтинговую систему. В любом случае, подобные исследования дадут очень богатую пищу и для академического сообщества, и для серьезно думающих компаний, тратящих усилия на поиск кадров.
Мне кажется, что строить рейтинг только на основе экспертных оценок не очень удачно, будет в наших условиях значительна боязнь субъективизма. И та система, которую начали разрабатывать, она вполне годится в основу для такого рейтинга.
М.А. Иванов
Маленькая ремарка - очень важно, и я соглашусь с недавним замечанием Владимира Петровича, что объективная методика должна быть прията сообществом. Только тогда будет признан рейтинг.
Я.В. Соколов
Рейтинг может быть объективный и субъективный. Самый лучший, на мой взгляд, это субъективный рейтинг. Потому что все рассуждения, если рейтинг получит признание, сведутся к тому, чтобы выбить рейтинг. Более того, низкий рейтинг вуза сразу же дискредитирует тех способных людей, которые заканчивают этот вуз. В этом опасность. Но самое главное в рейтинге, чтобы по тем методикам, которые разработаны, по этим оценкам, измеряли так, как это делают в больницах. Приходит сестра, раздает термометры, потом она возвращается и спрашивает: Ну, сколько у Вас? Вот так и надо работать, потому что единственно возможный путь, когда не будет склоки. Иначе, в любом другом случае, будут проблемы.
Сама наша работа называется "оценка образования". Но мне кажется, многие неправильно прочли, прочли как контроль, как задание. А это - оценка качества, это искусство для искусства, оценка для оценки. Каждый человек, вуз вправе себя по этой методике оценивать и если желает, может печататься. Это субъективный рейтинг, но никто на него не может пожаловаться. Конечно, будут приписки, но никто не сможет жаловаться. Какую бы комиссию вы не создали, каких бы людей не выписали в нее. Ни один не признает то, что ты занял, начиная со второго места и ниже. Все нижестоящие будут говорить, что рейтинг плохой, считали неправильно┘ Но если ты сам насчитал, оценил себя по этим тестам, куда же ты денешься.
Может ли быть рейтинг объективным? Да, может, но его сосчитать еще сложнее. Было хорошо сказано - подсчитать среднюю величину зарплаты выпускников каждого вуза, и средняя зарплата по выпускнику и завтра напечатать. И никто тоже не мог бы возразить. Но построить его очень сложно. Поэтому - да здравствует рейтинг, но только при самооценке.
А.Л. Денисова
Настало время все же понять - что мы оцениваем. Заявлено, что мы оцениваем качество. Что вы понимаете под категорией качество?
М.А. Иванов
Речь пока идет о том, что Вы слышали. Т.е. мы попробовали всем задать один и тот же вопрос и получить какой-то ответ. Это начало. Я с большим вниманием отнесся к тому, что сказал Ярослав Вячеславович. Это, в каком то смысле, безусловные вещи, т.к. еще ни разу не удавалось создать измеряющего механизма, который был бы безупречен. Мы сегодня всех приглашаем думать и обсуждать подобные вопросы очень активно. Никаких выводов, окончательных суждений или рекомендаций делать пока нельзя.
А.Л. Денисова
Еще замечание по моменту создания рейтингов по образовательным программам. Дел в том, что образовательная программа определяется стандартом. Рейтинг чего мы будем строить? Стандарта, структуры стандарта?
М.А. Иванов
Стандарт - это некое минимальное требование к какому-то содержанию. Дальше, по этому минимальному требованию работают в разных городах. И вы видите, что под одним и тем же названием преподают совершенно разное. И где-то просто не знают и не понимают того, что нужно. А называет так, как названо в программе. На этом все стандарты заканчиваются. А когда вы измеряете на выходе, что знает студент, это уже совсем другое.
Я.В. Соколов
Ведь каждый преподаватель как-то сам оценивает стандарт, который ему навязали. Отсюда следует потрясающий вывод -вы рассылаете анкеты - оцените успешность стандарта по десятибалльной системе. И завтра вы посмотрите - как люди оценивают. И можно строить рейтинг.
Нестерова Дарья Владимировна (УрГУ)
Наш вуз выполняет разные программы, в т.ч. и бизнес-образованию, но программа по экономической теории - это старейшая наша программа. Для меня сегодняшняя дискуссия и тот эксперимент, который представлен, чрезвычайно важны. Я знакома с рейтингами, которые сейчас публикуются сейчас в Москве. Но когда речь идет, например, об экономической теории, то представьте себе, что в региональных вузах, пусть даже в вузах индустриальных регионов, таких как Урал, за термином "экономическая теория" скрываются самые разные вещи. И все факультеты, выполняющие образовательную программу по экономической теории, имеют существенный разброс в качестве подготовки специалистов. Для меня этот эксперимент - попытка действительно определить сообществом некий стандарт. И для меня как администратора очень важно было бы знание структуры задаваемых вопросов, сегодня они были представлены очень крупно, чтобы можно было представить, какие разделы изучаются хорошо, какие нет.
Мне кажется, что для любого вуза, такая оценка, когда она производится не внутренне, т.е. не по внутренним разработкам, а внешне, принципиально важна. Так как позволяет отследить, в каком пункте пути ты находишься - в самом ли начале, или преодолел середину и т.д. Я не могу сейчас говорить, что могут быть выстроены серьезные рейтинги именно вузов, но то, что может быть произведена оценка образовательной программы, будь то экономическая теория, бухгалтерский учет или любая другая - я абсолютно уверена. Потому что даже государственный образовательный стандарт - это некое согласие о том, чему надо учить. Вопрос в качестве, в той планке, которая задается тестами. И чем выше будет эта планка, тем полезнее это будет для развития экономического образования. Что до самооценки, то всегда, мне кажется, можно договориться о некоей системе координат. В ней и обсуждать - имеет ли место "ересь" или наука.
М.В. Энговатов
Я бы хотел заострить внимание на одном моменте - заинтересованность студентов. В Москве, за исключением одного случая, приходило примерно 50% студентов. Это летом, когда они были предупреждены заранее и могли не приходить. Им это было как бы незачем. Единственно, что - вы можете объективно оценить свои знания после, скажем 4 курса. Причем анонимно.
В.С. Автономов
Здесь говорили, что нам не надо подменять рынок. Вероятно, никто из разработчиков тестов перед собой такой амбициозной задачи и не ставит. Но мы же знаем, что на рынке может присутствовать совершенная и несовершенная информация. Наш рынок образовательных услуг переполнен ложными сигналами. Репутация многих вузов искусственна, репутация одних факультетов выводится из репутации других. У нас нет рецензируемых журналов, публикации в них ничего не стоят. Скажем, 70 публикаций - это ложный сигнал, за ним ничто не стоит. Членство в Академии Наук тоже, к сожалению, не является точным критерием качества, авторитетности экономистов. И таких ложных сигналов масса. Да, надо учитывать мнение экспертов. Но помочь экспертам каким-то эмпирическим материалом - очень хорошо и облегчит им задачу. Когда им будут звонить и говорить, "как же ты не поставил такому-то вузу рейтинг", то ему хоть будет на что сослаться. Иначе будут "брать по козырек" и делать что надо. У нас в стране нет "гамбургского счета".
Что касается заинтересованности государства. Есть заказ Министерства образования на создание независимого центра оценки качества образования. И уже есть победитель конкурса. Я говорю к тому, что государство также пытается эту задачу решить, в том числе в форме создания независимого центра. Насколько это получится по заказу Министерства - это другой вопрос. Тем не менее, работа идет. И может быть несколько центров оценки качества. И если система показателей будет создана, то это поможет наполнить материалом многое из того, что сейчас делается формально, например кредитная система на обучение.
В общем, считаю, можно поддержать шаги, которые сделаны авторами проекта. Безусловно, мы благодарны и докладчикам, и фонду Форда. Это только начало, пробные шаги, метод проб и ошибок. Правда замечу, что никто не даст навязывать эти рейтинги в качестве обязательных. Но это движение в правильном направлении - мне хотелось бы сделать именно такой оптимистический вывод.
М.И. Левин.
Сначала хотел бы поблагодарить докладчиков. Но еще - мы находимся не в рыночной структуре. Кто-то в США или Голландии не стал бы бояться, что что-то у них померяют. А у нас важно, если каждый вуз будет померян и начнет что-то понимать про себя, но без вынесения информации во вне.
Далее. Тесты типа GRE были разработаны, чтобы мерить вход, а не выход, а здесь попытка померить выход, сообщить информацию о нем. Отсюда переход к другой проблеме - а чему мы должны учить. Это хотелось бы тоже понять в процессе этого исследования. Но даже сейчас оно дает огромную пищу для размышления. Спасибо.
О.А. Замулин
У меня есть пара замечаний. Мне кажется, что у нас сейчас нет консенсуса о том, что есть экономическая наука. И здесь недопонимание по двум направления:во-первых, в рамках перехода от советской системы к несоветской, а во-вторых, уже внутри современной экономической дисциплины, где разделение идет на economics, которая пытается изучить то, что происходит в мире, и бизнес-дисциплинами, которые пытаются понять, как вести дело: финансы, бухучет. Но зачастую это разграничение не полностью выполнено. В том числе в стандартах. И такие тесты не только могут дать понять какое качество образования они дают, но они также смогут понять общую картину, какие вопросы внутри какой дисциплины задаются, лучше понять, что нужно преподавать в рамках разных дисциплин, т.е. задается некий экспертный стандарт.
Второе замечание. О различии между экспертными оценками и тестами подобными сегодняшним. Мне непонятно, как экспертными оценками создавать некий рейтинг, т.к. тогда нужно большое количество экспертов, знающих достаточно о многих других вузах. Так людей просто нет. Единственная проблема, если мы набираем группу людей для создания тестов, то они же будут преподавателями каких-то вузов и здесь возможно появление конфликта интересов - студенты этих вузов могут получить привилегированное положение в сдаче этих тестов. Но это уже технический вопрос. Спасибо.
Клячко Татьяна Львовна (ГУ-ВШЭ)
Уважаемые коллеги, к сожалению, я не могла здесь присутствовать ранее. Я принесла продемонстрировать результаты этого лета - Федеральная база свидетельств по Единому Государственному экзамену по 16 регионам. Т.е. то, что сегодня обсуждалось, система тестов, было сделано для выпускников школ. И все они в один и тот же день в стране пишут экзамен, в том числе по обществознанию, в которое входит история, география и т.д. С этой базой мне уже пришлось работать, через нее прошло примерно 400 тыс. человек.
В трех регионах экзамен использовался с той целью, чтобы учащимся были выданы государственные именные финансовые обязательства, по которым они получали бы финансирование для обучения в высшей школе. Т.е. результаты проверки их знаний, которые мы могли бы счесть субъективными, были объективированы и получили финансовое подкрепление. Поэтому я не уверена, что при введении некоторой системы, по которой все проходят одинаково, ее нельзя использовать для некоторого объективирования ситуации. Хотя бы для самого человека. Потому что здесь он знает, сколько он получил, и на что, по приведенной методике, он может претендовать. Соответственно, интересна реакция вузов, которые получили этих детей. Это были очень разные вузы, но интересно то, что пятую категорию, то есть выпускников, получивших менее 35 приведенных баллов, хотя они должны были бы платить больше всех, те шесть вузов, которые участвовали в эксперименте, отказывались брать. При этом сначала звонили и спрашивали: "Вот, они хотят учиться, можно мы их возьмем?" Я отвечала - "Конечно". Потом звонили и говорили уже: "Мы подумали, мы их брать не будем". Потому что климат уже другой, когда уже не просто поступил/не поступил, а оценка уже развернута, то есть уже как-то и неприлично хвататься за плохих, даже если они принесут большие деньги. Все знают, что не просто педагогом поставлена тройка, а получено 35 баллов по трем предметам, что очень мало.
Пошел интересный сигнал по системе: вузы начали предъявлять совершенно другие требования к школам. Пошел сигнал: "Учите нормально русскому языку". Раньше на технические специальности брали по принципу: физика, математика - оценка, русский - зачет/незачет. В этом году, также пытались в расчете приведенного балла вместо трех экзаменов использовать два. Это было выявлено, и 40 записей было ликвидировано. Соответственно, для того, чтобы получить хорошее финансирование, они должны будут доводить детей по русскому языку.
И еще одна интересная вещь - иностранный язык. Во-первых, выявилось четко, что с этим очень плохая ситуация. И обратный сигнал был о том, что же нужно вузу на входе. Началась селекция совершенно по другим основаниям. В прошлом году, когда Единый экзамен проводился без последующего критерия, такой реакции не было.
Мы проводили сравнительное исследование 335 вузов, они очень боятся, что кто-то их оценит, информация пройдет и, соответственно, к ним не пойдут люди поступать. Но важно не то, как они себя оценят. А важно именно то, как они могут разобраться (или не разобраться) с теми студентами, которые к ним придут. И далее. Поскольку у нас практически нет оценок работодателей по выпускникам, то любой срез на какой-то более менее объективированной основе должен дать, в конце концов, основание для работодателя для запросов к вузам. Старые характеристики вузов иногда адекватны: технические вузы зачастую работают качественно, но их выпускники не востребованы. Т.е. работа качественная, но "в никуда". С повышением миграции, считаю, нужно все более объективировать оценки. Главное, что измеритель использовался один и тот же, это предельно важно. Спасибо.
М.А. Иванов
Может ли повлиять региональное начальство на результаты измерений?
Т.Л. Клячко
В этом году уже пыталось. Школы не хотят выглядеть хуже, чем другие. Субъекты федерации не хотят выглядеть хуже, чем другие. И информация по людям должна открыто существовать, а по субъектам федерации она не должна быть открытой. Единственный положительный момент в том, что поскольку руководство практически любого субъекта дает указание о вмешательстве, то происходит лишь некое усреднение вверх. Кроме того, финансовые показатели четко указывают на то, где экзамен был проведен честно, а где его результаты были завышены. По первичной выборке мы знали, что только 2% могут получить такие результаты, когда же по вузу мы получаем 10%, то уже ясно, что при проставлении оценок что-то было сделано. Самое страшное - не дать в руки региональной комиссии возможность проставлять результаты. Только в центре.
В.С. Автономов
Уважаемые коллеги, подошло время заканчивать наш семинар. Я думаю, что он был весьма интересным. Хочу выразить глубокую благодарность моим коллегам из "Экономической школы", Владимиру Самуиловичу и его сотрудникам за интересное исследование, увлекательные презентации и всем присутствующим за дискуссию. Она выдалась очень интересной. Большое всем спасибо.

Назад





дНЛЮЬМЪЪ ЯРПЮМХЖЮ

оНВРЮ



© 2001 Copyright by The School of Economics Institute, Saint Petersburg. All rights reserved.
лЮЯРЕПЯЙЮЪ еБЦЕМХЪ яЛХПМНБЮ


Economicus.Ru