В учебно-методическом пособии рассматриваются некоторые теоретические вопросы применения тестов для оценки уровня учебных достижений, приведена классификация тестов по разным основаниям, зависимость видов и форм тестов от специфики учебной дисциплины, основные виды педагогических тестов.

Содержатся практические рекомендации по разработке тестовых заданий различной формы и по использованию АСТ-системы на основе опыта ее применения в отраслевых классах ДВГУПС.

Адресована преподавателям, разрабатывающим тесты, методическим комиссиям кафедр, проводящим экспертизу тестов, инженерам отраслевых классов, организующим проведение тестирования.

Отпечатано с авторского оригинала

УДК 78.146(075.8)

ББК Ч484(2)728я73

© ГОУ ВПО «Дальневосточный государственный

университет путей сообщения» (ДВГУПС), 2007

ВВЕДЕНИЕ

История возникновения и развития тестового контроля

Для успешной разработки педагогических заданий в тестовой форме полезно знать основы той науки, которая занимается изучением тестов. Тестология появилась на стыке психологии, социологии, педагогики и других, так называемых поведенческих наук, и призвана заниматься вопросами разработки тестов для объективного контроля знаний, умений, навыков и представлений.

Впервые тест возник как метод изучения индивидуальных различий. Временем его возникновения считается конец XIX – начало XX веков, когда для определения физических, физиологических и психических особенностей человека психологи попытались применить различные способы измерения.

Быстрое развитие естествознания способствовало проникновению точных измерительных методов в такие «неточные» сферы, как психология и педагогика, что, в свою очередь повлекло за собой возникновение и распространение теорий, объяснявших процесс развития человека как изменяющийся и усложняющийся во времени. Первым ученым, попытавшимся измерить различия между людьми в области элементарных психических процессов, был англичанин Френсис Гальтон (F. Gallon; 1882–1911).

Проводя исследования индивидуальных различий, Ф. Гальтон использовал набор методик на определение зрительной, слуховой, тактильной чувствительности, на мускульную силу и другие характеристики.

Ф. Гальтон называл испытания, проводившиеся в его лаборатории, умственными тестами. Важным вкладом Ф. Гальтона в развитие теории тестов было определение трех основных принципов:

1. Применение серии одинаковых испытаний к большому количеству испытуемых.

2. Статистическая обработка результатов.

3. Выделение эталонов оценки.

Эти принципы используются и по сей день – на основе проведения серий испытаний получаются различного вида нормы для оценки результатов тестирования, все современные тесты построены на основе статистической теории измерений, а идея эталона оценки лежит в основе определения тестов как стандартизированного инструмента.

Термин «умственный тест» приобрел наибольшую популярность после выхода статьи Джеймса Мак-Кина Кеттелла (Cattell J. Мс-К.; 1860–1944) «Умственные тесты и измерения», опубликованной в 1890 году с послесловием Ф. Гальтона. Горячий сторонник и пропагандист тестового метода, Дж. Кеттелл считал тест средством для проведения научного эксперимента с соответствующими требованиями к чистоте научного эксперимента. Все эти идеи, выдвинутые Дж. Кеттеллом, в настоящее время составляют основу для современной тестологии. Одинаковость условий для всех испытуемых, одинаковые инструкции и четкое их понимание испытуемыми – фундаментальные принципы, положенные в основу стандартизации процедуры проведения тестирования. Ограничение времени, в настоящее время, после дополнительных исследований, реализуется в зависимости от возраста испытуемых и особенностей применяемого инструментария. Идеи статистической обработки результатов реализованы в достаточно сложных методах статистического анализа и моделирования. В 1895–96 годы в США были созданы два национальных комитета, призванных объединить усилия тестологов и придать общее направление появлявшимся тестологическим работам.

Большой вклад в развитие тестологии внес видный французский психолог Альфред Бине (Binet A.; 1857–1911). А. Бине может считаться родоначальником современных тестов, предназначенных для диагностики уровня развития интеллекта. А. Бине ввел в обиход понятие умственного уровня (позднее замененного на умственный возраст, а еще позже на показатель умственного развития IQ).

Длительное время к тестам относились как к инструменту для индивидуальных измерений индивидуумов. Массовый характер тестирования вызвал необходимость перейти от индивидуальных тестов к групповым.
В 1917–18 годы в США появились первые групповые тесты для нужд армии. Наибольшее применение нашли тесты Артура Синтона Отиса (Otis A.S.; 1866–1963). Им были предложены два набора тестов (Альфа- и Бета-тесты): для владеющих английским языком и «немые» тесты для не владеющих или плохо владеющих языком.

Основные принципы, использованные при составлении этих тестов, были систематизированы и впоследствии легли в основу всей методологии групповых тестов.

Одновременно широко развивались методики обработки результатов тестирования, создания тестовых систем. Ф. Гальтон первый разработал метод статистического сравнения двух рядов переменных и ввел индекс совместного отношения, названный коэффициентом корреляции. Также
Ф. Гальтону принадлежит заслуга изучения взаимосвязи переменных и построения линий регрессии одной переменной на другую. В 1896 году Карл Пирсон (Pearson К.; 1857–1936) изложил основы теории корреляции.
А в 1904 году Чарльз Эдвард Спирмен (Spearman Ch. E.; 1863–1945) показал, что корреляция между двумя переменными свидетельствует о наличии общего фактора (причины, определяющей величины этих переменных) и специфических факторов, присущих каждой переменной. Ч. Спирмен явился основателем двухфакторной теории.

Луис Левон Терстоун (Thurstone L.L; 1887–1955) развил далее идею факторного анализа, исходя из понимания интеллекта как целого, состоящего из нескольких первичных способностей (вербальной, перцептивной, способности к восприятию пространства, памяти, беглой речи). Все эти факторы равноправны, не существует единого фактора интеллекта. С помощью факторного анализа не просто устанавливается связь изменения одной переменной с изменением другой, а должна определяться мера этой связи, и найдены основные причины, лежащие в основе указанных изменений. Достижения корреляционного и факторного анализа находят свое применение и в современных исследованиях.

С начала ХХ века определилось и педагогическое направление в развитии тестологии. Американец В.А. Макколл разделил тесты на педагогические (Educatinal Test) и психологические – по определению уровня умственного развития (Intelligence Test). Основной задачей педагогических тестов являлось измерение успешности обучения обучающихся по тем или иным дисциплинам за определенный период обучения, а также успешность применения определенных методов и технологии преподавания.

Целью использования педагогических тестов, по мнению В. Макколла, является объединение в группы обучающихся, усваивающих равный по объему материал и усваивающих материал с одинаковой скоростью.

Разработка первого педагогического теста принадлежит американскому психологу Эдуарду Ли Торндайку. Он считается основоположником педагогических измерений. Результатом большой исследовательской работы в области измерений и использования метода тестов в педагогике явилась книга «Введение в теорию психологии и социальных измерений» (1904). Первый стандартизованный тест, вышедший под руководством Э. Торндайка был тест Стоуна на решение арифметических задач, впервые снабженный «нормами».

В 1915 году Йеркс создал свою серию тестов, главное отличие которой – изменение системы подсчета. Вместо возрастных долей, предложенных
А. Бине, испытуемый получает за каждый правильно решенный тест известное количество баллов. Это повысило удобство проведения и подсчета результата теста. Количество полученных баллов переводилось по приложенным стандартам в коэффициент одаренности или успешности.

Группа американских психологов работает над созданием «интеллектуальных» тестов для обучения. Эти тесты назывались «национальными тестами». Национальные тесты впервые были составлены в 2 сериях по 2 варианта в каждой серии. Совершенствуя методику, американские тестологи в этих тестах впервые перед каждым разделом теста дают примерные упражнения.

Разработкой и проверкой тестов занимаются специальные государственные службы. Еще в 1900 году в США был создан Совет по вступительным экзаменам. В 1926 году – Совет колледжей принял тест SAT, были разработаны «тесты для квалификационной и профессиональной оценки деятельности педагога». С 1947 года существует Служба тестирования (Educatinal Testing Service), которая считается наиболее представительным научно-исследовательским центром.

К 1961 году только в США были созданы 2126 стандартизированных тестов. Здесь существует множество тестовых издательств, общая продукция которых представляет несколько тысяч различных тестов. Естественно, они различаются по качеству и по спросу на них. Изданные тесты ежегодно аннотируются и наиболее значительные комментируются в ежегоднике «Mental Measurement Yearbook».

Интеграционные процессы, характеризующие современную цивилизацию, дали толчок развитию новых направлений тестирования. Оценка качества образования приобретает все большую значимость по мере увеличения количества стран, осознающих преимущества сопоставления собственных достижений с международным контекстом.

С 1959 года основные крупномасштабные международные исследования проводятся под руководством неправительственной организации Международная ассоциация по оценке успеваемости (ИЕА). Учреждения ИЕА созданы в более чем 45 странах мира и подключают к своей деятельности министерства образования, педагогические факультеты университетов, научно-исследовательские институты.

Исследования ИЕА строятся в определенной последовательности и базируются на объяснительных моделях, основанных на учебных программах. Предполагается обследование тысяч обучающихся в каждой стране с помощью академических тестов, составляемых на основе учебных программ и других занятий. Используемые тесты успеваемости направлены на измерение достижений обучаемых, которые можно оценить в баллах, скорректировать и сравнить с аналогичными данными по стране, а также соотнести с другими факторами, влияющими на успеваемость (например, с содержанием обучения, технической оснащенностью школы, полом обучающихся, местностью проживания и пр.). Цель такого исследования – создание достаточно гибкой модели, позволяющей измерить комплексное воздействие школы на процесс овладения знаниями.

Помимо ИЕА существуют другие организации, занимающиеся проблемами международного тестирования. Например, Институт образования ЮНЕСКО (Гамбург), Международный центр педагогических исследований в Париже провели совместно с ИЕА исследование навыков чтения в
35 странах (1990 год). При этом определение лучшей или худшей страны в изучаемой области не является целью тестирования. Задачей исследования становится поиск наиболее эффективных условий обучения.

В России до 1917 года вопросам тестирования не уделялось достаточного внимания. Практическое значение тесты получили только после
1925 года, когда была создана особая тестовая комиссия. Тестовая комиссия существовала при педагогическом отделе Института методов школьной работы. В ее задачи входила разработка стандартизированных тестов для советской школы. И уже в 1926 году были разработаны тесты по некоторым предметам: природоведению, обществоведению, счету, решению задач, знанию географической карты, на понимание чтения и правописание, созданные на основе американских. К этим тестам прилагались инструкции и личная карточка для учета прогресса учащегося.

Проблемой разработки тестов вплотную занимались видные российские психологи и педагоги: С.Г. Геллерштейн, П.П. Блонский, А.П. Болтунов, М.С. Бернштейн, A.M. Шуберт, Г.И. Залкинд и др. В 1927 году вышла книга С.М. Василейского «Введение в теорию и технику психологического, педологического и психотехнического исследования», где излагались теоретические и практические подходы к созданию и использованию тестов.

В 20-е годы Центральная педологическая лаборатория MОHO под руководством педолога Е. Гурьянова разработала и выпустила в свет несколько тестов:

1. Шкала для измерения умственного развития испытуемых.

2. Тесты для учета навыков в чтении, счете и письме.

3. Тесты коллективного испытания умственной одаренности.

Под руководством П.П. Блонского в педагогическом кабинете Академии коммунистического воспитания осуществлялась проверка шкалы Бине-Симона, создание тестов и построение собственных стандартов. В Ленинградском научно-педагогическом институте им. А.И.Герцена и Детском обследовательском институте им. А.С. Грибоедова разрабатывались тесты на одаренность для массовых обследований испытуемых нормальных школ.

Однако вскоре положение кардинально изменилось. Вышедшее
в 1936 году постановление ЦК ВКП(б) «О педологических извращениях в системе Наркомпросов» негативно сказалось на развитии педологии в целом и тестологии в частности. Метод тестов был признан буржуазным орудием для дискриминации обучающихся и «изгнан» из советской школы. Одной из причин негативного отношения к тестам того времени было отсутствие заинтересованности системы управления в объективных результатах обследований педологов.

В настоящее время в нашей стране появилось несколько центров, в которых достаточно профессионально занимаются работой с тестовыми методиками. Среди наиболее активных следует назвать: Центр тестирования профессионального образования (ЦТПО, г. Москва), Центр оценки качества образования Института общего среднего образования РАО, Центр тестирования выпускников общеобразовательных учреждений Российской Федерации, Центр психологического и профессионального тестирования МГУ, Лаборатория аттестационных технологий Московского института повышения квалификации работников образования (МИПКРО), Лаборатория изучения образовательных систем Центра развития образования (г. Санкт-Петербург), Центр аттестации областного института повышения квалификации и переподготовки педагогических кадров (г. Вологда), Научно-информационный центр государственной аккредитации Минобразования России (г. Йошкар-Ола), Исследовательский центр проблем качества подготовки специалистов, Центр аттестации Института развития регионального образования (г. Екатеринбург) и целый ряд других.

Завершая обзор становления и развития тестирования, хочется подчеркнуть важность и педагогическую ценность этого метода, дающего возможность статистически точно анализировать процесс получения образования, искоренять недочеты и видеть дальнейшие перспективы его развития. Критическое отношение к тестированию, понимание его возможностей позволит педагогу адекватно использовать тесты для улучшения педагогического процесса.

1. ТЕСТ КАК МЕТОД ПЕДАГОГИЧЕСКОГО ИЗМЕРЕНИЯ

Современное понимание тестов и тестирования можно представить в виде трех уровней.

Первый – «бытовой» уровень. Здесь тест понимается как набор вопросов с вариантами ответов, который стоит в одном ряду с кроссвордами, головоломками и служит в большей степени для развлечения и удовлетворения познавательных интересов. Педагоги с таким пониманием тестирования считают тестирование очень ненадежным, ограниченным, а создание тестов простейшим делом.

Второй уровень понимания тестирования можно назвать «словарным». В этом понимании выделяются основные составляющие понятия тестирования. При этом не учитываются особенности процедуры создания, использования и анализа, специфичные для той или иной сферы применения. Для этого понимания характерны разночтения и противоречия в понятиях и определениях. Современное состояние развития тестологии находится именно на этом уровне: многие понятия до конца не определены, многие авторы трактуют по-разному одни и те же понятия и, в свою очередь, одно явление может иметь несколько названий. Это вполне естественный этап развития молодого научно-практического феномена, когда понятийный аппарат находится в стадии становления, а часть терминов и понятий иноязычны и в разных переводах приобретают отличающиеся значения.

Третий уровень понимания может быть назван научным. Он наиболее точен, учитывает особенности тестов и отражает требования к тестам, которые появляются в процессе развития и научного обоснования тестирования. К этому уровню, вероятно, и следует стремиться.

B.C. Аванесов отмечает: «Понятие "педагогический тест" нужно рассматривать в двух существенных смыслах:

– как метод педагогического измерения;

– как результат применения теста как метода измерения, состоящего из ограниченного множества заданий».

Тест – это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, изменение которых возможно в процессе систематического обучения.

Данное определение отражает состав теста и его целевое назначение. Кроме этого существует множество других современных словарных определений тестов для психолого-педагогической области.

Все определения подчеркивают то, что тест означает проверку, испытание, но это не простое установление факта наличия или отсутствия какого-либо качества или свойства, что в состав теста входят тестовые задания, что тест должен быть стандартизирован и что назначение теста – это выявление личностных особенностей или приращений.

По мнению B.C. Аванесова «Тест состоит из заданий, правил их применения, оценок за выполнение каждого задания и рекомендаций по интерпретации тестовых результатов».

В начале следует отделить тесты от «не тестов». Формально отделить тесты от не тестов достаточно просто, используя приведенное определение: тест в качестве составляющих должен иметь, по крайней мере, три элемента – систему заданий, зафиксированную документально технологию предъявления и отработанную систему проверки, обработки и анализа результатов, которые должны составлять единство.

Тест не является аналогией отдельным заданиям, экзаменационным вопросам, анкетам, головоломкам и пр. В его основе лежит специально подготовленный и испытанный набор заданий, позволяющих объективно и надежно оценить исследуемые качества и свойства на основе использования статистических методов.

Следует признать, что тесты достижений не являются инструментом для определения всего спектра учебных достижений. Одним из существенных ограничений применения тестирования учебных достижений являются ограничения, которые накладываются на ответы. Поэтому анализ способов решения задач, мыслительных операций, которые использует обучаемый при решении задач, в большинстве случаев оказывается затруднен, но не невозможен. Поэтому в рамках существующих ограничений на сегодняшний день метод тестирования является как наиболее мощным, надежным и объективным при решении широкого спектра задач средством, так и наименее теоретически и практически разработанным.