Валидность — фундаментальное понятие экспериментальной психологии и психодиагностики; мера соответствия того, насколько методика и результаты исследования соответствуют поставленным задачам. Виды валидности; установление и оценка действенности тестов.
Аннотация к работе
Содержание: Введение Проблема измерения валидностиВалидность по своей сути - это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова ее действенность, эффективность, практическая полезность. Валидность в первом ее понимании имеет отношение к самой методике, т. е. это валидность измерительного инструмента. Для проверки валидности теста можно использовать метод известных групп, когда приглашаются люди, про которых известно, к какой группе по критерию они относятся (например, группа «высокоуспешных, дисциплинированных студентов» - высокий критерий и группа «неуспевающих, недисциплинированных студентов» - низкий критерий, а студенты со средними значениями не участвуют в тестировании), проводят тестирование и находят корреляцию между результатами теста и критерием. высокий критерий низкий критерий высокий результат теста a b низкий результат теста c d Здесь a - число испытуемых, попавших в высокую группу по тесту и по критерию, c - число испытуемых, попавших в высокую группу по критерию и имеющих низкие результаты теста. Методика считается внутренне не валидной или недостаточно валидной, когда все или часть включенных в нее вопросов, заданий и субтестов измеряют не то, что требуется данной методикой.Понятие валидности отражает прагматическую идею обязательной практической проверки качества измерения психологических свойств человека. Если раньше понятие валидности чаще других ассоциировалось с понятием «качество теста», то в последние годы все больше осознается роль интерпретации тестовых результатов.
Введение
Валидность по своей сути - это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова ее действенность, эффективность, практическая полезность.
По этой причине не существует какого-то единого универсального подхода к определению валидности. В зависимости от того, какую сторону валидности хочет рассмотреть исследователь, используются и разные способы доказательства. Другими словами, понятие валидности включает в себя разные ее виды, имеющие свой особый смысл. Проверка валидности методики называется валидизацией.
Валидность в первом ее понимании имеет отношение к самой методике, т. е. это валидность измерительного инструмента. Такая проверка называется теоретической валидизацией. Валидность во втором понимании уже относится не столько к методике, сколько к цели ее использования. Это прагматическая валидизация.
Понятие валидности
Ключевым критерием оценки качества методик, после надежности, является валидность. Вопрос о валидности методики решается лишь после того, как установлена достаточная ее надежность, поскольку ненадежная методика не может быть валидной. Но самая надежная методика без знания ее валидности является практически бесполезной.
Следует заметить, что вопрос о валидности до последнего времени представляется одним из самых сложных. Наиболее укоренившимся определением этого понятия является то, которое приведено в книге А. Анастази: «Валидность теста - понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает».
Важную роль для понимания того, что методика измеряет, играет сопоставление ее показателей с практическими формами деятельности. Но здесь особенно важно, чтобы методика была тщательно проработана в теоретическом плане, т. е. чтобы имелась прочная, обоснованная научная база. Тогда при сопоставлении методики с взятым из повседневной практики внешним критерием, соответствующим тому, что она измеряет, может быть получена информация, подкрепляющая теоретические представления о ее сущности.
Если опять обратиться к истории развития тестологии, то можно выделить такой период (20-30-е гг. XX в.), когда научное содержание тестов и их теоретический багаж интересовали в меньшей степени. Важно было, чтобы тест работал, помогал быстро отбирать наиболее подготовленных людей. Эмпирический критерий оценки тестовых заданий считался единственно верным ориентиром в решении научных и прикладных задач.
Виды валидности и ее нахождение
По определению американского текстолога А. Анастази, «валидность теста - понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает». Валидность свидетельствует о том, пригодна ли методика для измерения определенных качеств, особенностей и насколько эффективно она это делает. Наиболее распространенным способом нахождения теоретической валидности теста (методики) является конвергентная валидность, то есть сопоставление данной методики с авторитетными родственными методиками и доказательство значимых связей с ними.
Сопоставление с методиками, имеющими другое теоретическое основание, и констатация отсутствия значимых связей с ними называется дискриминантной валидностью. Другой вид валидности - прагматическая валидность - проверка методики с точки зрения ее практической значимости, эффективности, полезности. Для проведения такой проверки, как правило, используются так называемые независимые внешние критерии, то есть используется независимый от теста, внешний источник информации о проявлении в реальной жизни и деятельности людей измеряемого психического свойства. Среди таких внешних критериев могут быть успеваемость, профессиональные достижения, успехи в разных видах деятельности, субъективные оценки (или самооценки). Если например, методика измеряет особенности развития профессионально важных качеств, то для критерия необходимо найти такую деятельность или отдельные операции, где именно эти качества реализуются.
Для проверки валидности теста можно использовать метод известных групп, когда приглашаются люди, про которых известно, к какой группе по критерию они относятся (например, группа «высокоуспешных, дисциплинированных студентов» - высокий критерий и группа «неуспевающих, недисциплинированных студентов» - низкий критерий, а студенты со средними значениями не участвуют в тестировании), проводят тестирование и находят корреляцию между результатами теста и критерием.
высокий критерий низкий критерий высокий результат теста a b низкий результат теста c d
Здесь a - число испытуемых, попавших в высокую группу по тесту и по критерию, c - число испытуемых, попавших в высокую группу по критерию и имеющих низкие результаты теста. При полной валидности теста элементы b и c должны быть равны нулю. Меру совпадения, корреляции между крайними группами по тесту и критерию оценивают с помощью фи-коэффициента Гилфорда. Существует достаточно много разных способов доказательства валидности теста. Тест называется валидным, если он измеряет то, для измерения чего предназначен.
Валидность внешняя - применительно психодиагностических методик означает соответствие результатов психодиагностики, проводимой посредством данной методики, независимым от методики внешним признакам, относимым к субъекту обследования. Означает примерно то же самое, что валидность эмпирическая, с той разницей, что здесь речь идет о связи между показателями методики и самыми важными, ключевыми внешними признаками, относимыми к поведению испытуемого. Психодиагностическая методика считается внешне валидной, если, например, ее посредством оцениваются черты характера индивида и его внешне наблюдаемое поведение согласуется с результатами проведенного тестирования.
Валидность внутренняя - применительно психодиагностических методик означает соответствие содержащих в ней заданий, субтестов; соответствие результатов психодиагностики, проводимой посредством данной методики, определению оцениваемого психологического свойства, использованному в самой методике. Методика считается внутренне не валидной или недостаточно валидной, когда все или часть включенных в нее вопросов, заданий и субтестов измеряют не то, что требуется данной методикой. Очевидная валидность - описывает представление о тесте, сложившиеся у испытуемого. Тест должен восприниматься обследуемым как серьезный инструмент познания его личности.
Очевидная валидность приобретает особое значение в современных условиях, когда представление о тестах в общественном сознании формируется многочисленными публикациями в популярных газетах и журналах того, что можно назвать квазитестами, с помощью которых читателю предлагается определить все, что угодно: от интеллекта до совместимости с будущим супругом.
Конкурентная валидность оценивается по корреляции разработанного теста с другими, валидность которых относительно измеряемого параметра установлена. П. Клайн отмечает, что данные о конкурентной валидности полезны тогда, когда есть неудовлетворительно работающие тесты для измерения некоторых переменных, а новые создаются для того, чтобы улучшить качество измерения. В самом деле, если уже существует эффективный тест, то для чего нужен такой же новый?
Прогностическая валидность устанавливается с помощью корреляции между показателями теста и некоторым критерием, характеризующим измеряемое свойство, но в более позднее время. Например, прогностическая валидность какого-нибудь теста интеллекта может быть показана корреляцией его показателей, полученных у испытуемого в возрасте 10 лет, с академической успеваемостью в период окончания средней школы. Л. Кронбах считает прогностическую валидность наиболее убедительным доказательством того, что тест измеряет именно то, для чего он был предназначен. Основная проблема, с которой сталкивается исследователь, пытающийся установить прогностическую валидность своего теста, состоит в выборе внешнего критерия. В особенной степени чаще всего это касается измерения личностных переменных, где подбор внешнего критерия - чрезвычайно сложная задача, решение которой требует немалой изобретательности. Несколько проще обстоит дело при определении внешнего критерия для когнитивных тестов, однако и в этом случае исследователю приходится «закрывать глаза» на многие проблемы. Так, академическая успеваемость традиционно используется в качестве внешнего критерия при валидизации тестов интеллекта, но в то же время хорошо известно, что успехи в обучении далеко не единственное свидетельство высокого интеллекта. валидность методика тест психодиагностика
Инкрементная валидность имеет ограниченное значение и относится к случаю, когда один тест из батареи тестов может иметь низкую корреляцию с критерием, но не перекрываться другими тестами из этой батареи. В этом случае данный тест обладает инкрементной валидностью. Это может быть полезно при проведении профотбора с помощью психологических тестов.
Дифференциальная валидность может быть проиллюстрирована на примере тестов интересов. Тесты интересов обычно коррелируют с академической успеваемостью, но по-разному для разных дисциплин. Значение дифференциальной валидности, так же как и инкрементной, ограничено.
Содержательная валидность определяется через подтверждение того, что задания теста отражают все аспекты изучаемой области поведения. Обычно она определяется у тестов достижений (смысл измеряемого параметра полностью ясен), которые как еже указывалось, тестами, собственно психологическими не являются. На практике для определения содержательной валидности подбираются эксперты, которые указывают, какая область поведения наиболее важна, например, для музыкальных способностей, а затем, исходя из этого, генерируются задания теста, которые вновь оценивают эксперты.
Конструктная валидность теста демонстрируется полным, насколько это возможно, описанием переменной, для измерения которой предназначается тест. По сути дела, конструктная валидность включает в себя все подходы к определению валидности, которые были перечислены выше. Кронбах и Мил, которые ввели в психодиагностику понятие конструктной валидности, пытались решить проблему отбора критериев при валидизации теста. Они подчеркивали, что во многих случаях ни один отдельно взятый критерий не может служить для валидизации отдельного теста. Можно считать, что решение вопроса о конструктной валидности теста представляет собой поиск ответа на два вопроса: 1) существует ли реально некоторое свойство;
2) надежно ли измеряет данный тест индивидуальные различия по этому свойству. Вполне понятно, что с конструктной валидностью связана проблема объективности в интерпретации результатов по изучению конструктной валидности, однако эта проблема общепсихологическая и выходит за рамки валидности.
Проблема измерения валидности
Проблема валидности возникает в процессе применения теста, когда ставится задача установить соответствие между степенью выраженности интересующего свойства личности и методом его измерения. Чем валиднее тест, тем лучше он отражает то качество (свойство), ради измерения которого он создан.
Понятие валидности относится не только к тесту, но и к критерию оценки его качества. Чем выше коэффициент корреляции теста с критерием, тем выше валидность. Развитие факторного анализа позволило создавать тесты, валидные по отношению к идентифицируемому фактору. Только проверенные на валидность тесты могут быть использованы в научных исследованиях.
В то же время необходимо заранее предполагать, что ни один элемент измерительного инструментария не является валидным вообще, он может быть валидным лишь в определенном смысле. Математический тест не дает сведений о развитии интеллекта, об уровне владения лингвистическими навыками и др. Математический тест, предназначенный для второго полугодия 6-го класса, не является валидным для другой стадии обучения. Если тест ориентирован на содержание конкретного учебника, то его валидность для учащихся, работавшим по иным учебникам, является проблематичной. В связи с этим определение валидности теста требует постановки дополнительных вопросов: валидность для чего, для какой цели, по какому критерию?
На валидность измерения могут влиять различные факторы. Возрастные, социальные или временные изменения влияют, помимо заранее спланированных педагогических условий, на сформированность тех или иных качеств личности. Незапланированное и неучитываемое воздействие личности педагога-экспериментатора на учащихся. Ошибки и неточности, связанные с субъективностью оценки поступков, мнений и действий наблюдаемых учащихся. Нередко наблюдается случайный отбор школьников для проведения опытно-экспериментальной работы без учета требований типичности характерных проявлений изучаемых сторон личности, в этом случае нарушается условие репрезентативности выборки из генеральной совокупности. Преобладание в экспериментальном классе учащихся с крайними позитивными или негативными проявлениями изучаемого свойства или качества влияет на весь ход опытно-экспериментальной работы. Большая психологическая настроенность, определенная установка на участие в исследовательской работе, которая существует в экспериментальном классе в отличие от контрольного. Как правило, ученики экспериментального класса более податливы к различным воздействиям и влияниям экспериментатора, чем такие же ученики в независимых условиях. Неравномерные изменения в составе классов во время проведения исследовательской работы, так как появление в классе большого количества новых для этого коллектива учеников будет влиять на конечный результат.
Наряду с тремя важнейшими критериями качества измерения в литературе называются и другие критерии. Линерт (Lienert, 1969) различает, например, следующие: а) нормирование теста, позволяющее включать результаты индивидуального тестирования в систему соотносительных понятий;
б) сопоставимость теста, возможная благодаря параллельным формам или благодаря тестам с одинаковой валидностью. В таком случае тест можно сравнить с его «близнецом» или «двойняшкой». К тому же при групповых исследованиях в школьных классах параллельные формы затрудняют списывание;
в) экономичность теста, имеющая место в том случае, если для проведения тестирования и обработки данных не требуется больших затрат времени и средств, если тест несложен и может использоваться в группах;
г) полезность теста, являющаяся максимальной, если существует большая практическая потребность в исследовании данного поведения и если для этой цели еще не разработано или разработано слишком мало методов.
Советский исследователь А.А. Кыверялг подробно описал такой критерий, как диагностическая ценность теста, используемый при конструировании тестов успеваемости.
Диагностическая ценность теста успеваемости определяется путем проведения предварительного опыта с так называемым «нейтральным классом», результаты которого в дальнейшей исследовательской работе не используются. В процессе обработки результата предварительной контрольной работы все полученные данные располагают в возрастающем порядке и определяют медиану, т.е. величину члена, находящегося в середине ряда. Учеников, которые получили оценку ниже медианы, считают «слабыми», тех, кто получил оценку выше медианы, считают «сильными».
Вывод
Понятие валидности отражает прагматическую идею обязательной практической проверки качества измерения психологических свойств человека. Если раньше понятие валидности чаще других ассоциировалось с понятием «качество теста», то в последние годы все больше осознается роль интерпретации тестовых результатов. Таким образом, валидность - это, прежде всего, адекватность интерпретации тестовых результатов по отношению к цели тестирования, содержанию основного понятия (содержанию диагносцируемого психического свойства) и применению результатов тестирования (в профотборе и других прикладных психологических обследованиях). В контексте прикладной задачи валидность представляет собой не столько критерий качества теста, сколько показатель меры соответствия теста цели тестирования. Итак, понятие валидности относится не только к тексту, но и к критерию оценки его качества. Чем выше коэффициент корреляции теста с критерием, тем выше валидность. Развитие факторного анализа позволило создавать тесты, валидные по отношению к идентифицируемому фактору. Только проверенные на валидность тесты можно использовать в профессиональной ориентации, профессиональном отборе и в научных исследованиях.
3. Валеев Г.Х. Методология и методы психолого-педагогических исследований: Учебное пособие для студентов 3-5-х курсов педагогических вузов по специальности «031000 - Педагогика и психология».- Стерлитамак: Стерлитамак. гос. пед. ин-т, 2002.- 134 с.