В предыдущей статье (см. "УШ" №28\99) педагогический тест определялся как система параллельных заданий равномерно возрастающей трудности, специфической формы, позволяющая качественно и эффективно измерить уровень и оценить структуру подготовленности учащихся. Для лучшего понимания этого определения полезно дать краткое истолкование его основных терминов.
Система означает, что в тесте собраны такие задания, которые обладают системообразующими свойствами. Здесь в первую очередь надо выделить общую принадлежность заданий к одной и той же системе знаний, т.е. к одной учебной дисциплине, их связь и упорядоченность. Для итоговой аттестации выпускников школ нужно разрабатывать интегративные задания, содержание которых охватывает систему знаний. В педагогическом тесте задания располагаются по мере возрастания трудности - от самого легкого до самого трудного. Иначе говоря, главным формальным системообразующим признаком теста является различие заданий по степени их трудности. Слово "формально" появилось здесь для того, чтобы оградить читателя от соблазна трактовать тест единственным образом - только как систему заданий возрастающей трудности, без учета их содержания.
Специфическая форма тестовых заданий отличается тем, что задания теста представляют собой не вопросы и не задачи, а задания, сформулированные в форме высказываний, истинных или ложных, в зависимости от ответов. Традиционные вопросы, напротив, истинными или ложными не бывают, а ответы на них нередко настолько неопределенны и многословны, что для выявления их правильности требуются заметные, в суммарном исчислении, затраты интеллектуальной энергии преподавателей. В этом смысле традиционные вопросы и ответы нетехнологичны, и потому их лучше не включать в тест.
Определенное содержание означает использование в тесте только такого контрольного материала, который соответствует содержанию учебной дисциплины; остальное в педагогический тест не включается ни под каким предлогом. Например, проверка уровня интеллектуального развития является предметом психологического тестирования. Содержание теста существует, сохраняется и передается в одной из четырех основных форм заданий. Вне тестовых форм ни тест, ни его содержание не существуют. Теоретически оправданным критерием упорядочения содержания так называемого гомогенного теста является критерий трудности заданий. Внеучебное содержание (например, проверка уровня интеллектуального развития) в педагогический тест не включается. Это предмет психологического измерения.
Возрастающую трудность заданий можно образно сравнить с барьерами на беговой дорожке стадиона, где каждый последующий выше предыдущего. Пробежать дистанцию и успешно преодолеть все барьеры сможет только тот, кто лучше подготовлен. Поскольку в педагогическом тесте задания упорядочиваются по принципу возрастающей трудности, одни испытуемые "заваливаются" уже на самом легком, первом задании, другие - на последующих заданиях. Учащиеся среднего уровня подготовленности могут ответить правильно только на примерно первую половину заданий теста. И, наконец, только самые знающие в состоянии дать правильный ответ на задания самого высокого уровня трудности, расположенные в конце теста. Трудность задания может определяться двояко: а) умозрительно, на основе предполагаемого числа и характера умственных операций, необходимых для успешного выполнения заданий, и б) после эмпирического опробования заданий, с подсчетом доли неправильных ответов. В классической теории педагогических измерений многие годы рассматривались только эмпирические показатели трудности. В новых вариантах психологических и педагогических теорий тестов больше внимание стало уделяться характеру умственной деятельности учащихся в процессе выполнения тестовых заданий различных форм (1).
Показатель трудности задания рассматривается как важный системно-, и одновременно, структурообразующий фактор теста. К этому можно добавить еще один критерий - это критерий логической определенности тестового задания. Его можно сформулировать словами, близкими к формулировке Х. Карри: задание является определенным, если на него можно ответить утвердительно или отрицательно, и если существует эффективный процесс для нахождения такого ответа (2; с. 69).
Ответ на задание педагогического теста представляет собой краткое суждение, связанное по содержанию и по форме с содержанием задания. Каждому задания ставятся в соответствие ответы правильные и неправильные. Критерии правильности заранее определяются авторами теста. Вероятность правильного ответа на любое задание зависит от соотношения уровня знаний испытуемого и уровня трудности задания. При наличии сопоставимых шкал, эту вероятность выражают значением от нуля до единицы. Оценка ответов по степени их правильности проводится довольно редко, но при необходимости создаются задания с такими ответами, которые правильны в различной степени (3). Инструкция для испытуемых в таких случаях может быть такой: "Обведите кружком номер (нажимайте на клавишу с номером) наиболее правильного ответа!"
Посредством тестирования чаще других признаков проверяются знания, умения, навыки и представления. С точки зрения педагогических измерений полезно ввести два основных показателя качества знаний - уровень и структуру знаний. Они оценивается посредством регистрации оценок, как за знание, так и за незнание всех требуемых компонентов проверяемого материала. Для объективизации этого процесса все компоненты должны быть одинаковы. Одинаковыми являются и правила выставления оценок испытуемым. Эти условия открывают дорогу для объективного сравнения индивидуальных структур знания и не знания.
Уровень знаний выявляется при анализе ответов каждого испытуемого на все задания теста. Чем больше правильных ответов, тем выше индивидуальный тестовый балл испытуемых. Обычно этот тестовый балл ассоциируется с понятием "уровень знаний" и проходит процедуру уточнения, на основе той или иной модели педагогического измерения. Один и тот же уровень знаний может быть получен за счет ответов на различные задания. Например, в тесте из тридцати заданий учвщийся получил десять баллов. Эти баллы, скорее всего, получены за счет правильных ответов на первые десять, сравнительно легких заданий. Присущую для такого случая последовательность единиц, а затем нулей можно назвать правильным профилем знаний испытуемого.
Если тестовый балл ниже требуемого уровня (значения тестового балла), то проявленные при этом знания, умения, навыки и представления указывают на докритериальный уровень подготовленности испытуемого. Этот уровень является самым распространенным и массовым. Для многих он оказывается вполне преодолимым по мере изучения ими наук и овладения мастерством. Однако некоторые, преимущественно в силу недостатка способностей и прилежания, так и остаются на этом уровне. В России на докритериальном уровне оказывается примерно 80 % выпускников школ. При этом как бы считается, что они не способны хорошо учиться в вузе. Но это ошибка образовательной политики.
В истории науки и искусств известно немало случаев, когда имевшийся в соответствующие времена критериальный уровень требований к знаниям (или мастерству) мешал общественному признанию отдельных талантов. Поэтому признание нередко приходило только по мере изменения критериев оценки. Чаще всего после смерти авторов многих бессмертных произведений в сфере науки, музыки, живописи и др. Яркий пример такого рода - изменение критериев оценки творчества Ван Гога, творчества многих художников-импрессионистов, формалистов и др. Известны и такие, например, факты. Будущий лауреат Нобелевской премии Альберт Эйнштейн летом 1895 года не смог сдать экзамены в Цюрихский политехникум, а всемирно известный пианист С. Рихтер дважды отчислялся из консерватории за общую неуспеваемость.
Структура знаний оценивается на основе последовательности правильных и неправильных ответов на задания возрастающей трудности. Формой представления индивидуальной структуры знания и незнания является профиль знаний испытуемого, представляемый последовательностью единиц и нулей, получаемых каждым студентом. Профиль знаний представляет собой упорядоченный набор оценок (вектор-строку) в матрице тестовых результатов. Если испытуемый отвечает правильно на первые, сравнительно легкие задания, можно говорить о правильной структуре знаний. Профиль называется правильным, если в строке баллов у испытуемого все нули следуют за всеми единицами.
Если же обнаруживается противоположная картина, (испытуемый правильно отвечает на трудные задания и неправильно - на легкие), то это противоречит логике теста и потому такая структура знаний может быть названа инвертированной. Она встречается редко, и чаще всего, из-за нарушения требования располагать задания по мере возрастающей трудности. При условии, что тест сделан правильно, каждый профиль свидетельствует о структуре знаний. Эту структуру можно назвать элементарной (поскольку есть еще факторные структуры, которые выявляются с помощью методов факторного анализа). Роль структуры знаний многократно подчеркивалась выдающимся немецким педагогом А. Дистервегом, а также психологом Д. Брунером. Последний считает, что "изложение структуры знаний, овладение этой структурой, а не просто усвоение фактов и технических приемов. является центральным моментом" (4).
Анализ профилей особенно важен в тестовом процессе. Ядром такого процесса является результат взаимодействия каждого испытуемого с каждым заданием. Чем выше подготовка испытуемых, тем выше вероятность правильного ответа на одно и то же множество заданий. Если случается, что испытуемый с высокой подготовкой не справился с объективно лёгким заданием, то такой случай относят к неожидаемым, или выпадающим из общей закономерности исходов тестового процесса. Равным образом к выпадающим случаям относят правильные ответы слабо подготовленных испытуемых на объективно трудные задания. Чем больше выпадающих случаев в каждом задании, тем меньше надежды на его пригодность быть включённым в тест, т.е. превратиться в тестовое задание. Процесс оценки пригодности заданий проводится для каждого случая применения теста.
Каждое учебное заведение должно стремиться, в первую очередь, к формированию правильных индивидуальных структур знаний, в которых не было бы пробелов (разрывов в знаниях), и на этой основе повышать уровень подготовки. Уровень знаний в значительной степени зависит от личных усилий и способностей учащихся, в то время как структура знаний заметно зависит от правильной организации учебного процесса, от индивидуализации обучения, от мастерства педагога, от объективности контроля - в общем, от всего того, чего обычно не хватает. Как справедливо отмечал М. Минский, человек не может хорошо учиться, если разрывы для него между известным и неизвестным слишком велики (5).
В тестовом задании внимание педагога привлекает, в первую очередь, содержание и форма. Содержание определяется как отображение фрагмента учебной дисциплины в тестовой форме, форма - как способ связи, упорядочения элементов задания. Содержание теста существует, сохраняется и передается в одной из четырех основных форм заданий. Вне тестовых форм ни тест, ни его содержание не существуют.
Литература
1. Tatsuoka, K.K. Item construction and psychometric models appropriate for constructed response. Prinston, N-J, 1993. -56 pp; Frederiksen, N., Mislevy R.J., Bejar I. J. (Eds). Test theory for a new generations of tests. Lawrence Erlbaum Ass. Publ. 1993, Hillsdale, N-J, 404 pp.
2. Карри Х. Основания математической логики: Пер. с англ. /Под ред. Ю.А. Гастева.- М.: Мир, 1969.- 568с.
3. Wright, B. S., Masters, G.N. Rating Scale Analysis: Rasch Measurement. Chicago, MESA Press, 1982. -206 pp. 4. Брунер Дж. Процесс обучения. М.: 1962, с. 15.
5. Минский М. Фреймы для представления знаний. М. , Энергия, 1979.- 151с.