Проекты
При подготовке системы тестов для оценивания знаний студентов специализирующихся по трем направлениям: "Финансы и кредит", "Бухгалтерский учет и аудит" и "Экономическая теория", возник вопрос о системе или способах выставления оценок. Применение теста как формы контроля знаний - не стандартная процедура для студентов, поэтому и выставление оценок должно быть не стандартным.
Привычный для студентов подход к выставлению оценок - накопление правильных ответов. В таком случае студенты склонны давать много ответов наугад, т. к. не правильные ответы никак не учитываются, и не влияют на уровень успешности студента.
В США, где накоплен богатый опыт оценки знаний с помощью тестов, используют принципиально иную схему выставления оценок. Это так называемые схемы со штрафными баллами. При такой схеме подведения итогов правильные ответы засчитываются с некоторым весом и знаком "+", не правильные ответы - со своим весовым коэффициентом и знаком "-", пропущенные ответы не учитываются. Именно такой подход к оцениванию уровня успешности студентов применялся в проводимых тестах.
В случае использования системы оценок со штрафами возможны два варианта: веса правильных и не правильных ответов одинаковы; и, веса правильных и не правильных ответов различны. Назовем систему оценок с равными весами "симметричной", а с не равными "асимметричной".
С целью большей мотивации студентов отвечать на вопросы теста вдумчиво, и не давать ответов наугад, была использована "асимметричная" система оценивания успешности. Другое ее название "поощрительная", т. к. за каждый правильный ответ студент получал +2 балла, за пропущенный ответ - 0 баллов, за неправильный ответ - -1балл. Во время инструктажа студенты были проинформированы об этой схеме, а некоторые даже переспрашивали, действительно ли не правильный ответ снизит общий итоговый балл.
"Симметричная" система предполагает равные веса для правильных и не правильных ответов, таким образом можно предложить следующую систему оценивания: за каждый правильный ответ - +1 балла, за пропущенный ответ - 0 баллов, за неправильный ответ - -1балл. Для того, чтобы можно было проводить сравнение между различными типами шкал, необходимо в аналогичных терминах определить обычный подсчет количества правильных ответов. Итак, за каждый правильный ответ - +1 балла, за пропущенный и не правильный ответ - 0 баллов.
Каждая из приведенных оценочных шкал используются для того, чтобы ранжировать студентов по уровню успешности, и оценить положение каждого студента относительно других. Полученные разными способами итоговые баллы можно перевести в привычную для студентов пятибалльную шкалу, установив соответствие между интервалами приведенных шкал и оценкой от 2 до 5. При условии нормального распределения полученных баллов, можно построить квантили распределения и выделить группы студентов, с разным уровнем успешности.
Сравнение использованных систем оценивания.
Целью следующего этапа работы стало сравнение разных подходов к оцениванию успешности студентов. Сравнение проводилось на основе сопоставления коэффициентов ранговой корреляции, показателей вариации, значимых различий средних.
Все полученные коэффициенты ранговой корреляции оказались статистически значимыми и достаточно высокими в диапазоне 0,68 - 0,99, что подтверждает предположение о том, что независимо от выбранной системы оценивания уровень успешности студента относительно других существенно не меняется.
Изменения относительно респондентов между "симметричной" и "асимметричной" системами оценивания носят пропорциональный характер с точностью до линейного преобразования. Уравнения регрессионных моделей для показателей, характеризующих эти системы оценок, имеют вид:
"Финансы и кредит":
Итоговый балл "асимметричный"=21,3+1,4 x Итоговый балл "симметричный"; (R2= 0,915)
Итоговый балл "асимметричный"=21,3+1,4 x Итоговый балл "симметричный"; (R2= 0,915)
"Экономическая теория":
Итоговый балл " асимметричный"= 24,8+1,5 x Итоговый балл "симметричный"; (R2= 0,973)
Итоговый балл " асимметричный"= 24,8+1,5 x Итоговый балл "симметричный"; (R2= 0,973)
"Бухгалтерский учет и аудит":
Итоговый балл " асимметричный"= 24,5+1,5 x Итоговый балл "симметричный"; (R2= 0,956)
Итоговый балл " асимметричный"= 24,5+1,5 x Итоговый балл "симметричный"; (R2= 0,956)
Таблица 1. Описательные статистики итоговых оценок, рассчитанных разными способами.
|
Название
|
Число правильных ответов
|
Асимметричная оценка
|
Симметричная оценка
|
|
Финансы и кредит
|
|||
|
Размах
|
34
|
97
|
67
|
|
Вариация, %
|
28,08
|
64,64
|
773,84
|
|
Экономическая теория
|
|||
|
Размах
|
46
|
138
|
93
|
|
Вариация, %
|
29,15
|
51,91
|
101,26
|
|
Бухгалтерский учет и аудит
|
|||
|
Размах
|
38
|
82
|
54
|
|
Вариация, %
|
19,44
|
34,08
|
70,99
|
Сравнивая вариацию и размах оценок успешности (Табл. 1), рассчитанных разными способами, видно, что "асимметричные" оценки имеют наибольший размах, и вариацию хотя и существенную, но меньшую по сравнению с "симметричными" оценками. Таким образом, "асимметричная" система оценивания увеличивает количество возможных вариантов оценок успешности, что выражается в следующем: респонденты, занимающие разное положение по "асимметричной" системе попадают в одну категорию при использовании "симметричной". Этот факт имеет большое значение, когда требуется ранжировать большую группу студентов по уровню успешности.
Следующая серия тестов направлена на выявление статистически значимых различий между значениями средних баллов, полученных разными способами по отдельным учреждениям.
Для сравнения средних на основании однофакторного дисперсионного анализа, необходимо должно выполняться условие нормальности распределения каждого из типов оценок. На основе проведенного анализа можно сделать вывод, что только в двух случаях из девяти распределение оценок не соответствует нормальному при уровне значимости 5%, поэтому оценку значимости различий в этих случаях проводить не будем. В осталь-ных случаях, на основании F - критерия можно говорить о том, что с вероятностью 95% существуют статистически значимые различия между величинами средних баллов отдельных учреждений.
Как и следовало ожидать, элементы однородных групп, построенных по одному показателю, в точности совпадают с элементами групп, построенных по другому показателю успешности. В случае, когда распределение оценок, полученных разными способами, соответствует нормальному распределению, обобщенные значения этих оценок могут выступать характеристиками отдельных учреждений.
Результаты сравнения описанных систем оценивания.
На основании проведенной серии тестов, направленной на сравнение трех систем оценивания уровня успешности студентов, можно заключить следующее:
1. независимо от выбранной системы оценивания (подсчет количества правильных ответов, системы с равными и разными весами для правильных и не правильных ответов) уровень успешности студента относительно других существенно не меняется;
2. "асимметричная" система оценивания увеличивает количество возможных вариантов оценок успешности; респонденты, занимающие разное положение по "асимметричной" системе попадают в одну категорию при использовании "симметричной";
3. "симметричная" и "асимметричная" системы оценивания пропорциональны с точностью до линейного преобразования;
4. рассмотренные системы оценивания знаний студентов, при выполнении некоторых условий, могут использоваться не только для ранжирования отдельных студентов, но и для сопоставления разных учреждений.
