Способи мінімізації впливу рейтерів на валідність та надійність оцінювання мовних масштабних стандартизованих тестів - Статья

Тернопільський національний педагогічний університет імені В.Сучасне масове використання стандартизованих масштабних тестів з високим статусом у вигляді Зовнішнього незалежного оцінювання, проведення атестації осіб, які претендують на вступ на державну службу, щодо вільного володіння державною мовою (Постанова Кабінету міністрів України № 301 від 26.04.2017) та гостра потреба у розробці та проведенні стандартизованих тестів на визначення рівня володіння українською мовою як іноземною вимагають негайного вивчення проблеми для ретельної професійної підготовки екзаменаторів/рейтерів, особливо при оцінюванні продуктивних (творчих) типів завдань з говоріння та/чи письма. Так, В.Коккота вважає, що тест - це “короткочасне, технічно просто обставлене випробування, яке проводиться в рівних для всіх умовах і яке має вигляд такого завдання, вирішення якого піддається кількісному обрахунку” [2, с.7] Власне лінгводи-дактичним тестом, який і є обєктом нашого дослідження, Н.Гарматюк та В.Марценюк [3, с.19] влучно вважають “підготовлений до певних вимог комплекс завдань, які попередньо випробовувались з метою встановлення їх якості і які дозволяють виявити в учасників тестування їх рівень лінгвістичної або комунікативної компетенції та оцінити результати тестування за заздалегідь виведеними критеріями”. Оскільки предметом нашого дослідження є професійна діяльність рейтера в оцінюванні результатів тесту, то, вважаємо, що “тестування” у цьому контексті слід розглядати не лише як процедуру проведення контролю у формі тесту, а у широкому значенні цього терміна у трактуванні С.Ніколаєвої “як сукупності процедурних етапів планування, складання й випробування тестів, обробки та інтерпретації результатів проведення тесту” [2, с.4] включно з професійною підготовкою укладачів та оцінювачів самих тестів. Стандартизовані тести з високим статусом (селективні тести з життєво важливими наслідками для тестованих, на зразок можливості навчання у певному закладі, визначення професійної придатності чи відповідності посаді, шансів на отримання громадянства тощо), які є обєктом нашого дослідження, - це ті процедури оцінювання, результати яких можуть мати доленосне значення для кандидатів, а відтак мають бути якомога більше націлені на валідність як самих тестів, так і їхнього оцінювання. Серед інших таких факторів впливу (Т.Макнамара) [8, с.4], зокрема, називає: непослідовність - схильність рейтера до непослідовного застосування тієї чи іншої категорії шкали оцінювання у порівнянні з іншими рейтерами; ефект ореолу - неспроможність рейтера відділяти окремі концептуальні категорії при оцінюванні, а відтак присуджувати подібні результати за різними категоріями шкали оцінювання, керуючись загальним враженням про кандидата; ефект доцентровості - тяжіння до виставлення середніх оцінок та уникання надто високих чи надто низьких результатів; неточність (упередженість) - схильність до надто строгого чи поблажливого оцінювання одного з аспектів тестової ситуації (скажімо, певної категорії шкали оцінювання чи певного завдання).