Текст книги "Дифференциальная психология и психодиагностика. Избранные труды"

Понятие надежности показателей, о значении которого для дифференциальной психологии говорить не приходится, разработано в рамках тестологии. И. Бетчолд это понятие характеризует так:

«Надежностью мы называем постоянство или устойчивость оценок, получаемых при повторяющихся наблюдениях. Повторное применение надежных методов дает сходные оценки. При повторении испытаний могут в основном совпадать оценки (или распределение по классам) или может оказаться относительно постоянным место, занимаемое индивидом в группе. Выражения “в основном” и “относительно постоянным” указывают, что во всех случаях возможны некоторые уклонения. Несистематические, или “случайные”, уклонения при повторных наблюдениях носят название “ошибок измерения”. Если эти ошибки обуславливают лишь незначительную часть общего уклонения ошибок, то тест считается надежным; если же относительная величина их значительна, надежность теста снижается» («Экспериментальная психология», 1963, с. 886).

Для установления надежности тестов обычно применяют три способа.

1. Способ расщепления. Тест, состоящий из ряда задач (порядка 20–40), делят на две части, а затем устанавливают коэффициент корреляции между этими частями. Чаще всего делят тест на четные и нечетные задачи. Для применения этого способа нужно поставить испытуемых в такие условия, чтобы они могли успеть решить (или попытаться решить) все задачи теста.

2. Повторение теста через некоторый временной интервал. Длительность интервала обусловлена двумя соображениями: он не должен быть слишком большим, чтобы во вторичном тестировании перед исследователем находился не слишком изменившийся испытуемый; вместе с тем этот интервал не может быть и очень коротким, так как в этом случае испытуемый начнет без обдумывания воспроизводить свои первые решения. Рекомендуют срок порядка полугодия (Garret Н. Е., 1962).

3. Способ параллельных форм. Испытуемым предлагаются через небольшой интервал две параллельные (составленные по одному принципу) формы теста. В данном случае интервал целиком зависит от исследовательской задачи – иногда тесты дают с небольшим перерывом один после другого, иногда интервал приближается к тому, что указан во втором способе.

Во всех этих способах надежность выражается коэффициентом корреляции.

Перечисленные способы разработаны на тестах умственного развития, специальных способностей и тестах учета знаний. Вместе с проверкой надежности ведется работа по проверке однородности и трудности задач, по стандартизации и пр.

Автор неоднократно переиздававшейся в США книги по статистике для психологов и педагогов Г. Гэррет не находит принципиальных различий между способами проверки надежности. Он пишет:

«Все эти методы дают оценки воспроизводимости тестовых показателей; иногда тот, иногда другой обеспечивает лучший критерий» (Garret Н. Е., 1962, р. 237).

Иной точки зрения придерживается И. Бетчолд («Экспериментальная психология», 1963). Резюмируя работы ряда тестологов-статистиков, автор считает, что следует выделить три различных коэффициента надежности.

1. Эквивалентность.

2. Стабильность.

3. Стабильность и эквивалентность.

Первый из них выражает однородность теста. Это коэффициент корреляции, полученный при способе расщепления.

Второй говорит о влиянии на выполнение теста мотивации испытуемого, состояния его здоровья, степени владения техникой выполнения задания. Он определяется как коэффициент корреляции между повторениями того же теста, то есть тождествен второму способу.

Третий коэффициент находят путем корреляции параллельных форм. Очевидно, что он частично показывает гомогенность заданий теста, а частично раскрывает роль тех влияний, о которых шла речь при описании предыдущего коэффициента. Именно поэтому его и считают коэффициентом стабильности и эквивалентности.

Нельзя не согласиться с теми тестологами, которые находят различие в характеристике надежности тремя перечисленными методами. При этом И. Бетчолд находит, что лучшим выражением надежности служит последний коэффициент. Этот коэффициент «считается наиболее подходящим для определения надежности классификационных методов, применяемых при отборе», – пишет он («Экспериментальная психология», 1963, с. 888).

Рассматривая эти способы проверки надежности методик с позиций психофизиологии, следует отметить, что применение третьего способа – параллельных форм – в наших исследованиях вряд ли возможно. Параллельная форма едва ли не для всех психофизиологических методик лишена смысла. Кроме того, истолкование, которое дается отдельным коэффициентам, не кажется убедительным.

Не задаваясь пока целью как-либо интерпретировать коэффициенты корреляции, о которых шла выше речь, постараемся представить себе факторы, которые могут снижать надежность наших методик, то есть вести к тому, что показатели, относящиеся к отдельным испытуемым, неустойчивы и сдвигают их с занимаемых ими мест в выборке.

Надежность психофизиологических измерений зависит от измерительного инструмента (в некоторых методиках таким инструментом является сам экспериментатор). В большинстве наших методик используется аппаратура, и от ее исправной работы зависит и постоянство получаемых результатов.

На степень рассеяния результатов измерения влияет также постоянство или стабильность самой исследуемой психофизиологической функции. Что наименее стабильные функции не могут быть использованы для дифференциальной психофизиологии, это ясно. Но ясно и то, что абсолютной стабильностью не обладает вообще ни одна функция. Можно выделить некоторые причины, вызывающие колебания функции.

Во-первых, они могут явиться следствием присущего ей флюктуирующего характера деятельности. В психологии хорошо изучены колебания внимания и даже замечены периоды этих колебаний. Очевидно, что колебания внимания не могут не отразиться на всех сенсорных процессах. Если условно обозначить флюктуацию в пределах состояний «спад – подъем» и не считаться с законами смен этих состояний, то измерения, которые могут прийтись как на экстремальные, так и любые промежуточные точки, дадут неизбежный разброс.

Во-вторых, непостоянство функции связано с ее утомляемостью и упражняемостью. Оба этих процесса могут быть обусловлены индивидуальными особенностями изучаемых лиц, что обнаружится в том, что процессы будут протекать с разной скоростью. В силу этого равенство испытуемых по какой-либо функции, обозначенное в первом опыте или даже в начале первого опыта, может привести в дальнейшем к разным по крутизне сдвигам – явление, нередко наблюдаемое при изучении латентных периодов времени реакции.

В-третьих, сдвиги функции могут зависеть от функционального состояния, под которым имеют в виду состояние, охватывающее человека как целое и с большей или меньшей отчетливостью осознаваемое им – усталость, радостное возбуждение, упадок и т. п. Не приходится сомневаться в том, что и повторяемость, и смена функциональных состояний отражают индивидуальные особенности, в частности сочетание основных свойств нервной системы. В данном случае они осложняют задачи исследователя, что хорошо известно всем, кто вел эксперимент, например, кожно-гальваническими реакциями: при определенных состояниях испытуемого трудно или невозможно получить исходные фоновые данные, необходимые для работы.

Нужно сказать еще об одном факторе, который при некоторых обстоятельствах сказывается на дисперсии психофизиологического показателя. Квалифицированный научный работник, изучивший методики, в опыте действует так, чтобы своим участием – сообщением инструкции, подготовкой испытуемого, самой процедурой опыта – создать те «прочие равные условия», при наличии которых выявляются изучаемые признаки. Вряд ли можно оспаривать то, что личность экспериментатора накладывает свой отпечаток на результаты опыта. Испытуемый в своем поведении на эксперименте отразит допускаемую небрежность или точность, требовательность, настойчивость, свойственные руководителю опыта, и можно утверждать, что это относится не только к «произвольным», но и «непроизвольным» методикам.

Указанный фактор нельзя недооценивать, в частности, по следующим соображениям. Методика, разработанная в исследовательской лаборатории, не предназначена для того, чтобы вечно оставаться в руках своих создателей. Она должна переходить в другие руки. Поэтому крайне желательно что-то знать о том, в какой мере она поддается влиянию личности экспериментатора. Инструкцию и процедуру описать можно, но передать манеру поведения чрезвычайно трудно, а в некоторых методиках, видимо, это имеет немалое значение.

Напомним, что изложенное выше предполагает, что методика в любом случае находится в руках квалифицированного экспериментатора: его неподготовленность исключается. Дело идет об индивидуальной манере вести эксперимент и о том, что для некоторых психофизиологических исследований этот фактор имеет особое значение. В качестве примера может служить известное исследование Л. А. Шварц о влиянии различных условий тренировки на пороги. В IV серии испытуемым была дана новая инструкция, которая требовала (это слово наиболее подходит в данном случае) от испытуемых «значительного повышения чувствительности зрения до определенного уровня в указанные им сроки» (Шварц Л. А., 1957, с. 150). По данным этого автора, не вызывающим никаких сомнений, у одного из испытуемых чувствительность поднялась с 553 до 1067 % к фону, у другого – с 460 до 800 % и т. д. Совершенно бесспорно, что сообщение такой инструкции имело смысл лишь в том случае, если оно было подкреплено соответствующей манерой поведения экспериментатора, выражавшей твердую уверенность, что он сделает все от него зависящее, чтобы добиться от испытуемого всего требуемого. Действительно, Л. А. Шварц была настойчивым и твердым экспериментатором; все, кто ее знал с этой стороны, могут подтвердить это.

Возможно, что в установлении надежности психофизиологических показателей играют роль и другие факторы, однако нет необходимости доказывать, что те, о которых шла речь выше, имеют немаловажное значение. Как бы ни назвать критерии, устанавливающие влияние того или другого фактора на надежность показателей, они по сравнению с критериями, которые обсуждаются в тестологической литературе, обладают тем преимуществом, что ясно намечают, куда должны быть направлены усилия исследователя, борющегося за повышение надежности. Тестологические критерии такого направления не указывают. В понятия эквивалентности, стабильности без анализа включены критерии, которые связаны с измерительным инструментом, то есть тестом, и критерии, связанные с измеряемым процессом – умственным развитием, специальными способностями и т. п. Трудно представить себе, что тестологи, которые по своей основной специальности являются психологами, не понимали того факта, что выявление умственного развития (что бы ни подразумевалось под этим названием), как и всех других психических процессов, зависит, например, от функционального состояния испытуемого. Однако о нем в интерпретации критериев не упоминается.

Каждый из перечисленных нами факторов способствует, может быть, наряду с некоторыми еще не обозначенными возникновению дисперсии. В том, что дисперсия сопутствует измерениям, еще нет ничего опасного для надежности. Все дело в том, как соотносятся между собой дисперсии внутрииндивидуальных измерений: интериндивидуальная с дисперсией интраиндивидуальной. В иной постановке этот вопрос может быть выражен так: не приведут ли случайные колебания данных любого нашего испытуемого к тому, что он в рамках значительной вероятности может оказаться то в начале, то в середине, то в конце рангового порядка опытной выборки? Один из статистических приемов решения этого вопроса – корреляция.

Остановимся, хотя бы без детализации, на условиях, которые могут повлечь увеличение дисперсии, угрожающее надежности. При измерении зрительных порогов имеет важное значение сохранение на всем протяжении опыта и серии опытов яркости источника света. Но яркость зависит от колебаний напряжения, которые в условиях большого города почти неизбежны. Это обстоятельство может сказаться на разбросе получаемых данных. Скорость движения руки экспериментатора, передвигающего клин, также не может недооцениваться. В методике измерения латентного периода двигательной реакции в качестве причин, увеличивающих дисперсию, могут выступать как регистрирующие устройства, то есть система реле, передающих импульсы включения и выключения от испытуемого к хронометру, так и ключ (или кнопка), на которую реагирует испытуемый: расстояние между контактами может при неотрегулированности пружины то увеличиваться, то уменьшаться, и соответственно будет изменяться путь, проходимый нажимной частью ключа, а следовательно, уменьшаться или увеличиваться латентный период реакции. Эти примеры относятся к конкретной аппаратуре, но нет гарантий, что в аппаратуре совершенно иного типа не может возникнуть подобных же мелких неисправностей. Согласимся называть критерий, характеризующий надежность измерительного инструмента, критерием надежности.

Рассматривая зависимость дисперсии от самой измеряемой функции, постараемся прежде всего поставить перед собой вопрос: в каких условиях заметнее всего проявится степень ее стабильности. По-видимому, лишь в некоторых методиках нестабильность функции может быть выявлена в течение одного опыта. Можно согласиться, что в течение опыта, если он не имел целью специально утомить испытуемого (такие опыты в рамках проблемы надежности нет необходимости рассматривать), его функциональное состояние не изменится. Может сказаться упражнение функции; чтобы избежать этого, прежде чем приступать к собственно измеряющему опыту, обычно доводят испытуемых до условного плато – условного, поскольку в условиях опыта оговаривают, какое количество близких данных принимают за плато. Остается присущая функции флюктуация. Она, несомненно, скажется на дисперсии. При не слишком малом числе измерений в опыте и при не слишком больших амплитудах флюктуации ее действие, возможно, и не повлечет невыгодного соотношения между интер– и интраиндивидуальными дисперсиями. В общем, вероятность совпадения момента измерения с точкой экстремума меньше, чем вероятность совпадения момента измерения с точками, расположенными в других зонах флюктуации.

Из сказанного следует, что по одному опыту судить о нестабильности функции не всегда возможно. Наиболее ясно эта нестабильность или ее степень, очевидно, обнаруживаются при сопоставлении двух опытов, разделенных некоторым интервалом. При измерении этих интервалов, вероятно, удастся заключить, как происходит (если происходит) изменение функции. Критерий, характеризующий стабильность функции, также имеет самое непосредственное отношение к надежности. Его можно назвать критерием стабильности.

Наконец, в предыдущем изложении было обращено внимание на то, как влияет на рассеяние показателей смена экспериментаторов. Подходя к смене экспериментаторов с той же позиции надежности, мы можем сказать, что наиболее важно здесь то, насколько различное действие произведут экспериментаторы на испытуемых. Если допустить, что под воздействием нового экспериментатора все испытуемые и притом в одинаковой мере станут работать немного лучше или хуже, то хотя сам по себе этот факт и заслуживал бы внимания, но он не изменил бы надежности. О надежности нужно говорить только потому, что действие экспериментатора на испытуемых может быть различным: допустим, одни стали бы работать лучше, а другие – хуже, а третьи – так же, как и при первом экспериментаторе. Другими словами, испытуемые при новом экспериментаторе изменили бы свои порядковые места в выборочном распределении. В таком случае следовало бы говорить о том, что исследуемый психофизиологический признак заметно отражает изменение условий. Другой же признак, возможно, этим не отличается. По аналогии с восприятием свойство, которое здесь отмечено, можно назвать константностью и считать, что критерий константности выражает подверженность изучаемого признака влиянию личности экспериментатора. Критерий константности может быть получен путем корреляции двух рядов данных, полученных в двух экспериментах, проведенных двумя экспериментаторами. Некоторые дополнительные данные о сдвиге в случае надобности можно получить, сравнивая ряды с использованием какого-либо критерия значимости различий, например критерия Стьюдента или другого.

Итак, мы пришли к трем критериям, характеризующим с разных сторон надежность психофизиологических показателей.

Первый из них более всего оценивает роль измерительного инструмента. Он соответствует коэффициенту корреляции между двумя половинами опыта. Его и можно именовать собственно критерием надежности.

Второй говорит о стабильности самого измеряемого признака. Он соответствует в наибольшей степени коэффициенту корреляции между двумя повторениями измерений того же признака. Его можно назвать коэффициентом стабильности, имея в виду именно сам процесс.

Наконец, третий относится только к тому часто встречающемуся в жизни лабораторий случаю, когда нужно передать методику другим исследователям. Чтобы выяснить, как отражается на результатах исследования личность экспериментатора, нужно получить коэффициент константности, который выражается коэффициентом корреляции между двумя опытами, проведенными в одинаковых условиях, но разными экспериментаторами.

Из сказанного естественно вытекает и порядок проверки методик по перечисленным критериям. Целесообразно сначала проверить аппаратуру, вообще инструмент измерения. Если полученные данные удовлетворительны, то можно переходить к установлению меры стабильности изучаемой функции, а уже после этого при необходимости заняться критерием константности.

Трудно определенно ответить на такой, казалось бы, естественный вопрос: какого порядка должны быть коэффициенты надежности? В тестологической практике, как она сложилась в США, где изготовление и продажа тестов составляют особую сферу предпринимательства, рекомендуемые к приобретению заинтересованными предприятиями наборы тестов характеризуются и по их надежности. Эта надежность обычно вычисляется теми способами, о которых говорилось выше. Она редко представлена коэффициентами ниже 0,80 (см., например, Thorndike R. L., Hagen Е., 1955, где в конце книги даны аннотации о распространенных наборах тестов). При оценке надежности многое зависит от того, для какой цели предназначается методика. Думается, что при всех условиях тот коэффициент, который мы назвали собственно коэффициентом надежности и который характеризует сам инструмент измерения, в частности аппаратуру, должен быть достаточно высок – примерно порядка 0,75-0,95. Почему, в сущности, в правильно поставленном эксперименте корреляция между его половинами не может быть высокой? Психофизиологический эксперимент – не то, что тестирование для получения IQ, где вопрос о гомогенности всегда представляет значительную трудность. В психофизиологических методиках гомогенность, как правило, дана самим существом опыта; следовательно, снижение коэффициента может произойти только как следствие нарушения экспериментальных условий.

Следует сказать о том, что в психофизиологии есть несколько видов методик, в которых опыт дает всего один качественно однородный показатель. Так, в одной из работ лаборатории психофизиологии применены показатели, каждый из которых пронумерован и характеризуется всего одним измерением. Речь идет о фотохимическом условном рефлексе.

• «Скорость выработки условного рефлекса (количество подкреплений) – показатель 8.

• Скорость выработки дифференцировки (количество предъявлений) – показатель 9.

• Результат ошибки (величина условного рефлекса после ошибки в процентах к фону, то есть к средней для данного испытуемого в данном опыте величине абсолютной световой чувствительности, – показатель 14.

• Прочность условного рефлекса (величина условного рефлекса после месячного перерыва в процентах к его величине до перерыва) – показатель 10.

• Прочность дифференцировки (уровень световой чувствительности на дифференцировочный раздражитель после месячного перерыва в процентах к фону) – показатель 11.

• Быстрота переделки условного рефлекса в дифференцировку (количество предъявлений раздражителя) – показатель 12.

• Быстрота переделки дифференцировки в условный рефлекс (количество подкреплений) – показатель 13» (Борисова М. Н., Гуревич К. М., Ермолаева-Томина Л. Б. и др., 1963, с. 183).

В опытах, о которых шла речь, исследователи располагали только единичными измерениями. Строго говоря, устанавливать надежность каждого показателя в том смысле, который дан в этой статье, нельзя. Можно поставить задачу проверки стабильности самого показателя, что также потребует соблюдения ряда условий, и при необходимости – его константности.

Встает законный вопрос: насколько же необходимо при применении какой-либо психофизиологической методики располагать полной характеристикой ее надежности?

О том, что это всегда желательно, спорить не приходится. Но в тех случаях, когда применение методики имеет для испытуемых какое-то личное, жизненное значение, то есть когда методика используется как диагностическое и прогностическое орудие в целях определения профессиональной пригодности и профессионального отбора, значение критериев ее надежности становится особенно важным. В самом деле, нетрудно представить себе, чего стоит диагноз, если не установлена стабильность диагностируемой функции. Чего стоит диагноз, если он может измениться в зависимости от того, кто ведет опыт? И наконец, также в тестологии была установлена связь между надежностью и валидностью. Не входя в обсуждение самого вопроса о валидности, также совсем не простого, отметим только, что оценивать валидность методик, о надежности которых ничего не известно, – дело заведомо обреченное на неудачу. Следовательно, и для оценки валидности необходимо знать о надежности.

Теоретические и практические работы по дифференциальной психофизиологии в настоящее время быстро развиваются. Совершенно необходимо, чтобы это развитие происходило на достаточном научном фундаменте. К упрочению этого фундамента относится и разработка и решение вопроса о надежности, некоторые соображения о которых нашли отражение в этой статье.