Текст книги "Практическая психология"
Автор книги: Галина Абрамова
Жанр: Учебная литература, Детские книги
сообщить о неприемлемом содержимом
Текущая страница: 9 (всего у книги 30 страниц)
§ 4. Проблемы применения данных психодиагностики в педагогической и социальной практике
Эти проблемы требуют отдельного обсуждения, так как возникает особый вопрос о пользователе психодиагностической информации. Для того чтобы решить эти проблемы с точки зрения профессиональной ответственности психолога за использование психодиагностической информации, будем исходить из того факта, что на сегодняшний день мы имеем дело с двумя видами психодиагностических обследований – массовыми и индивидуальными.
Массовые обследования ставят задачу классификации явлений и прогноза.
Индивидуальное обследование ориентировано на все возможные задачи: диагноз, прогноз, анализ.
В зависимости от вида обследования можно и нужно обсуждать проблему применения полученных данных в педагогической и социальной практике, которые обе предполагают воздействие на ситуацию жизни обследуемого с использованием психодиагностической информации.
Укажем некоторые особенности ситуаций педагогической и социальной практики и специфику применения в них данных психодиагностики.
Надо отметить, что каждая конкретная ситуация применения психодиагностической информации предполагает наличие у пользователя определенной «теории» о психической реальности, сообщаемое пользователю знание будет структурироваться в соответствии с его собственной «теорией» – теми отредактированными обобщениями, которыми он пользуется для понимания других людей. Наличие таких теорий психодиагност должен учитывать, а при возможности и обсуждать их содержание с пользователем психологической информации.
С этой целью проведению психодиагностического обследования, особенно массового, должна предшествовать работа психолога по созданию у обследуемых адекватных установок на ситуацию обследования. Сообщение в научно-популярной форме дополнительной информации о целях исследования, знакомство обследуемых с условиями хранения и использования информации создает атмосферу взаимного доверия и делает ситуацию обследования не экспертной, а именно диагностической.
Данные психодиагностики могут использоваться в социальной практике для формирования административного решения, например, о содержании медицинского диагноза. В этом случае результаты психодиагностики используются специалистами смежных профессий – медиков, в первую очередь. Психодиагност выносит суждение о специфических индивидуальных особенностях клиента, о его мышлении, памяти качествах личности, а врач ставит диагноз. Психолог не несет ответственности ни за медицинский диагноз, ни за лечение, назначенное больному.
Таким же образом происходит использование психодиагностических данных при психодиагностике по запросу суда, комплексной психолого-психиатрической экспертизе или судебной психологической экспертизе, психодиагностике профессиональной компетентности работника или профпригодности по запросу администрации.
При проведении, например, комплексной судебной психолого-психиатрической экспертизы психодиагност работает вместе с психиатром и решает следующие задачи.
1. Квалифицирует психическое состояние обследуемого, определяет природу, вид и тип психической патологии, особености её личностного выражения, устанавливает взаимоотношение психопатологического и нормально-психологического в психике, а также соответствие явлений компенсации и защиты личности в процессе адаптации её к ситуации.
2. Определяет устойчивые психологические свойства и качества, устойчивые особенности динамических состояний – вид и глубину эмоциональных реакций исследует в реальной ситуации, выявляет особенности аномальных или акцентуированных личностей, степень пограничной умственной отсталости.
3. Определяет влияние выявленных характеристик личности и особенностей психического состояния на его поведение в исследуемой ситуации, то есть анализирует возможность для подэкспертного отражать окружающее, рефлексировать и регулировать свое поведение в конкретной ситуации.
Там, где результаты работы психодиагноста используются и представителями других специальностей, он должен давать прогностическую информацию об обследуемом.
Эта информация должна содержать стандартизированные данные, то есть психологическая задача клиента – его психологический диагноз – должна быть соотнесена с системой социальных задач, предполагающих исследование взаимоотношений обследуемого с другими людьми.
Необходимость этого, по нашему мнению, с достаточной степенью очевидности просматривается на примере задач комплексной психолого-психиатрической экспертизы, где понятие нормы поведения, адекватности поведения является одним из критериев для принятия социальных решений по поводу психодиагностической информации.
В этих ситуациях обследования наиболее употребительны объективные тесты, тесты-опросники, которые могут быть специально созданы по критериям заказчика.
При проведении судебно-психологических экспертиз можно, например, пользоваться методикой «Пиктограмма», «Четвертый лишний», тест Роршаха, тест-опросник Шмишека и др.
В педагогической практике часто бывают такие ситуации, когда данные психодиагностики – психологический диагноз – используются для воздействия на жизнь клиента другими людьми – педагогами, родителями, воспитателями и др.
Сообщая этим лицам результаты психодиагностического обследования, психолог должен исходить из того, что каждый из пользователей его информации должен быть подготовлен к ее восприятию и применению. По нашему мнению, целесообразно, чтобы пользователь сформировал в отношении получаемой психологической информации свою личную психологическую задачу – задачу понимания значимости этой информации и для себя, и для того человека, на которого они будут воздействовать.
Надо, сообщая информацию о клиенте, в этих ситуациях использовать данные объективных, стандартизированных методов, чтобы пользователь получил более или менее долгосрочный прогноз в отношении психологической информации о клиенте.
Так, например, школьный психолог, сообщая информацию о причинах плохой успеваемости школьника, показывает роль пользователя этой информации в происхождении и возможном устранении этих причин.
Психологу важно учитывать, что в большинстве случаев у пользователя при сообщении ему психологической информации присутствует оценочное отношение к ней.
Психолог должен предложить социально адекватное восприятие психологической информации, введя, например, контекст возрастной или индивидуальной нормы психического развития.
Это позволит пользователю уйти от самостоятельной интерпретации психодиагностической информации в свете своих собственных задач взаимодействия с обследуемым человеком.
Кроме указанных особенностей передачи психологической информации, для педагогической и социальной практики существуют проблемы, связанные с процедурами получения психологической информации в работе психодиагноста.
Так, проведение массовых обследований, например, готовности детей к школе, предполагает достаточно длительное присутствие психолога в обследуемой популяции.
Психолог должен тщательно контролировать эту ситуацию по следующим критериям: нераспространение показателей оценки результатов работы детей; нераспространение оценочной психологической информации (ответственность пользователя за полученную информацию).
Кроме того, психолог должен так подготовить тестовый материал, чтобы исключить возможность подготовки клиента к нормативному реагированию на задание. С этой целью надо иметь (особенно для ситуаций массового индивидуального обследования) несколько вариантов тестовых заданий. Думаю, что лучше всего предлагать задания по типу проективных, где предварительная подготовка обследуемого имеет минимальное значение.
В этом плане примером заданий, позволяющих осуществлять прогностическую диагностику при обследовании детей на готовность к школе, могут быть задания на эмпирическое обследование ценностей ребенка, исследование организации предметного содержания сознания, исследование общей структуры деятельности, предложенные в работе Н. И. Непомнящей. Приведем пример диагностических заданий, которые интересны тем, что ориентированы на проявление индивидуальности ребенка. Одно из заданий на исследование ценностей ребенка выглядит следующим образом: ребенок должен был придумать рассказ по поводу картинок с изображением единичных предметов, которые он мог комбинировать по собственному усмотрению (методика «Картинки предметные» – КП).
Отличие этого задания от строго стандартизированных в том, что оно ориентировано не на конкретные умения (например, умение планировать в перцептивном плане или умение анализировать целое), а на базисные образования психической реальности – отношение к себе, отношение к предметному миру и др.
При проведении массового психодиагностического обследования выбор заданий очень важен, чтобы исключить восприятие ситуации обследования как ситуации экспертной, экзаменационной, то есть снять ориентацию действий исследуемого на некий правильный, хороший результат. При исследовании детей это необходимо учитывать и через отношение их родителей к ситуации обследования.
Применение для массового обследования стандартных тестов предполагает момент одновременности работы всех исследуемых над заданием, например, заполнение бланков, работа над опросником и другие процедуры. Этот момент одновременности выполнения задания всеми обследуемыми или предельно независимо друг от друга позволяет предотвратить факторы, искажающие психологическую информацию за счет обсуждения обследуемыми стратегии ответов.
Итак, основные проблемы применения психодиагностических данных в педагогической и социальной практике связаны с адекватностью восприятия психологической информации пользователем. Для решения этой проблемы психодиагност обязан проводить популяризацию своей профессиональной деятельности для создания соответствующего ей социального статуса.
Одной из важных сторон социальной практики является применение психодиагностической информации самим психодиагностом в общении с клиентом или коллегами-психологами.
Так, психологический диагноз может быть основанием для воздействия самого психолога на внутренний мир клиента. Это уже перерастание ситуации психодиагностики в ситуацию психологического консультирования.
В благоприятных профессиональных условиях психодиагност работает с другими коллегами, специализирующимися в других отраслях практической психологии, и он передает коллеге свой диагноз как обоснование для его действий в отношении клиента.
Передача психологического диагноза для коллеги является ситуацией профессиональной рефлексии для психолога и может рассматриваться как социальная проблема, так как именно таким путем происходят качественные изменения в средствах и способах его профессиональной деятельности – осуществляется его профессиональный рост. Это, в свою очередь, ведет к изменению социального статуса профессии, что особенно важно сейчас, в условиях становления профессии практического психолога. Личная ответственность психолога за свой профессиональный рост перерастает в социальную проблему – проблему становления социального заказа на его профессию.
Передавая информацию коллеге, психолог в меньшей степени ориентируется на некоторые «нормы», он может пользоваться в большей степени идеографическими техниками, проективными и диалогическими методами. Результаты, которые он будет получать и обсуждать с коллегой, имеют значение и как средства и способы его профессиональной деятельности, как средства и способы профессиональной рефлексии.
Мы уже отмечали, что в психодиагностической практике есть ситуации, когда психолог только сообщает данные, а клиент сам использует их. Это ситуации педагогические, так как человек будет сам оказывать на себя воздействие с помощью этой информации, будет заниматься саморазвитием. В этой педагогической ситуации психолог несет ответственность за корректность данных, за точность и достоверность своего диагноза, за этический его аспект и в меньшей степени за то, как диагноз будет использован клиентом.
Главное требование к методам, применяемым психологом в этих ситуациях, – легкость перевода данных на язык клиента. Этому надо учиться самому психодиагносту, соблюдая основные нормы взаимодействия с клиентом по поводу психологической информации:
• сообщать информацию, а не оценивать ее;
• сообщать в адекватной форме, получать обратную связь о степени ее понимания клиентом.
§ 5. Критерии эффективности в практической психодагностике
Критерии эффективности практической работы психодиагноста связаны со следующими важнейшими факторами его профессиональной деятельности:
• обобщенной теорией;
• средствами и способами получения психологической информации;
• средствами и способами передачи психологической информации.
Если обобщенная теория, особенности владения ею отражают как уровень развития науки, так и степень профессиональной зрелости психодиагноста, то средства и способы получения психологической информации специфичны тем, что сама процедура их применения включает взаимодействие психодиагноста и обследуемого человека. Это значит, что в результате измерений получаются данные, которые будут зависеть не только от психодиагноста и уровня его квалификации, но и от тактики и стратегии поведения обследуемого.
Диапазон, в котором можно использовать стандартные психодиагностические методы, довольно узок и реально имеет смысл только на той выборке исследуемых, для которой он был создан и проверен на надежность, валидность, репрезентативность.
Эффективность работы практического психолога стандартным, психометрическим методом будет определяться соответствием целей применения теста или методики для исследуемой выборки.
Перенесение без предварительной перепроверки устойчивости тестовых норм теста с одной выборки на другую приводит к ошибкам.
Если психодиагност применяет тест, он должен точно знать тестовые нормы для исследуемой выборки.
Ошибки, которые возможны при отсутствии такой проверки, отражаются на прогностической валидности теста. Особенно это относится к зарубежным тестам, которые отечественные психологи склонны использовать без соответствующей нормативной проверки. Реальные языковые и межкультурные различия могут оказать существенное влияние на результаты – получение и интерпретация психологической информации будут существенно искажены.
Для того чтобы убедиться в пригодности того или иного теста, психодиагност должен уметь повторить процедуру, с помощью которой конструировался и обосновывался тест его создателями.
Психодиагност, применяющий методики, должен знать требования к методикам разного типа – это тоже показатель эффективности его работы, так как владение требованиями к методикам отражает ориентацию психодиагноста на профессионально оправданные процедуры получения психологической информации, а не на уровень житейской или обыденной психологии.
Остановимся на требованиях к методикам, которые сформулированы в отечественной психологии’. Измерительные методы (тесты) должны удовлетворять следующим требованиям:
• должны быть однозначно сформулированы цели, предмет и область применения методики. Предмет, диагностический конструкт должен быть соотнесен с уже имеющимися теоретическими обоснованиями, проверенными на релевантность. Область применения должна быть четко выделена и обозначена, указан контингент обследуемых[18]18
См.: Общая психодиагностика /Под ред. А. А. Бодалева, В. В. Столина. – М., 1987.
[Закрыть].
Необходимо четко обозначить цели использования результатов;
– процедура проведения должна быть задана в виде однозначного алгоритма, который можно было бы передать ЭВМ или специалисту, не имеющему специальных психологических знаний;
– процедура обработки должна включать статистически обоснованные методы подсчета и стандартизации тестового балла (по статистическим или критериальным тестевым нормам).
Выводы (диагностические суждения) на основе тестового балла должны сопровождаться указанием на вероятностный уровень статистической достоверности этих выводов;
– тестовые шкалы должны быть проверены на репрезентативность, надежность и валидность в заданной области применения. Другие разработки и пользователи должны иметь возможность повторить стандартизационные исследования в своей области и разработать частные стандарты (нормы); процедуры, основанные на самоотчете, должны быть снабжены средствами контроля за достоверностью, позволяющими автоматически отсеивать недостоверные протоколы; головная методическая организация определенного ведомства (область применения) должна вести банк данных, собранных по тесту, и проводить периодическую коррекцию всех стандартных методик.
Экспертные методы: должны быть однозначно сформулированы цели, предмет и область применения метода. Предмет должен быть соотнесен с уже имеющимися теоретическими обоснованиями, проверенными на релевантность.
Область применения, контингент испытуемых должны быть четко обозначены. Необходимо также четко обозначить цели использования результатов. Инструкция по применению снабжается указанием на требуемую квалификацию экспертов, их необходимое количество для получения надежных данных по методу независимых оценок; инструкции к проведению должны пройти специальные испытания на однозначность их выполнения экспертами по отношению к некоторому эталонному набору данных (тестов, рисунков, звуко– и видеозаписей и т. п.); процедура обработки результатов должна включать в себя протоколирование промежуточных этапов Обработки данных, которое дало бы возможность перепроверить конечный результат другому эксперту; пользователи и разработчики должны иметь возможность повторить нормативное исследование по измерению экспертной согласованности на эталонном наборе данных;
– головная организация должна вести банк данных, обеспечивая подготовку пользователей и переподготовку их в соответствии с пересмотренными стандартами методики.
Все методики должны проходить аттестацию в рамках головных методических организаций, которые составляют каталог методик, прошедших аттестацию.
Критерии эффективности работы практического психодиагноста во многом определяются его возможностями в составлении программы обследования – в подборе батареи методик. Ее составление основывается на принципе – максимум надежности при минимуме затрат.
Планирование программ обследования предполагает осуществление следующих операций.
1. Определение направленности метода: на простое или интегративное качество личности; на действие или на переживание или на содержание когнитивных процессов.
Исходя из этого выбирается либо методика, либо батарея методик или тестов. Далее выбирается определенный тип метода: для изучения действий и переживаний чаще всего используются оценочные шкалы и самооценочные шкалы. Для изучения качеств личности используются опросники, проективные или другие методы.
Батарея тестов состоит из нескольких тестов для изучения различных аспектов одного качества внутреннего мира человека (например, векслеровские шкалы интеллекта). Набор тестов состоит из нескольких тестов, посредством которых исследуется несколько разных, взаимно не связанных качеств внутреннего мира человека (например, 16-факторный опросник Кеттела, ММРУи др.).
2. Решение вопроса о том, каким образом с помощью выбранного метода будет определяться изучаемое свойство внутреннего мира человека.
Любая методика представляет собой стимульный материал, организующий ситуацию работы с ним, материал методики и будет определять способы действия исследуемого, в которых будет проявляться исследуемое качество. С этой точки зрения, по психологическому механизму порождения ответов, методы будут делиться следующим образом:
• методы, требующие от субъекта лишь выражения определенного отношения (согласие, ожидание, отрицание);
• методы, требующие активности памяти (дидактические тесты, тесты способностей, анамнестические беседы);
• методы, работа в которых зависит от практического мышления;
• методы, предполагающие поиск и установление сложных связей и отношений;
• методы, основанные на идее проекции состояний исследуемого на материал стимулов.
3. Основным вопросом, который необходимо решить, является вопрос о том, с помощью чего мы будем определять, исследует ли наш метод то, на что он направлен.
С точки зрения построения метода и его стандартизации, это вопрос о критериях валидности.
Имеется ли такой критерий вообще в нашем распоряжении?
Является ли он репрезентативным пользователем исследуемой характеристики личности?
Является критерий простым или комплексным?
Комплексный критерий состоит из нескольких относительно легко познаваемых компонентов. Например, вождение автомобиля – это комплексный критерий, содержащий такие элементы, как скорость реакции, острота зрения, наблюдение за движением транспорта, за дорожными знаками, готовность к решению сложных ситуаций, надежность и т. д.
Поставленный психиатром диагноз «невротик», «здоровый» – это простой критерий, несмотря на то, что за ним стоят сложные явления внутреннего мира человека, но с точки зрения, например, проверки опросника для дифференциации здоровых и невротиков можно понимать упрощенно.
4. Надо решить вопрос о том, для какой цели метод создан? Для постановки диагноза, или даже дифференцированного диагноза, или для отбора и распределения кадров. Чем сложнее цель, для которой метод создан, тем он должен быть чувствительнее и разработанное. Разница есть и в методах, предназначенных для практической диагностики и для научных исследований. Первые должны иметь разработанные нормы и понятную интерпретацию результатов, в то время как для научных исследований достаточно представить данные в первичных результатах и интерпретировать их на уровне операциональных определений или в теоретических понятиях.
5. Кто будет пользователем методов? Этот вопрос требует решения, так как если это психолог, тогда метод должен быть гораздо сложнее, чем когда им пользуется обученный неспециалист.
6. Надо определить, для какой популяции метод предназначен. Решающее значение будет иметь то, кто с помощью этого метода будет обследоваться – дети или взрослые, больные или здоровые, грамотные или неграмотные испытуемые, предназначен он для группового или индивидуального обследования и т. д.
4. Есть ли какие-нибудь требования ко времени проведения обследования? Этот момент важен, так как время может быть фактором, влияющим на показатели результативности обследуемого, – время решения задачи, качество задач, решенных за единицу времени, – важный показатель в тестах достижений.
7. Надо определить требования к экономичности метода: нужны ли специальные пособия, место для проведения обследования, оборудование и т. п.
8. Только после решения этих вопросов, обдумывания более или менее внешних предпосылок можно подойти к собственному построению метода. При построении его постоянно учитывается формальное и содержательное соответствие отдельных заданий теоретическим и практическим основам метода.
Основным критерием качества метода является его валидность, то есть обоснованность, достоверность.
С формальной точки зрения валидность бывает подлинная, которая выражает отношение между результатами метода и тем, что с помощью метода изучалось, и ложная, в которой зафиксирована видимость ценности метода. Подлинная валидность в зависимости от характера критерия, с помощью которого она проверяется, разделяется на эмпирическую и теоретическую, текущую и прогностическую.
Ложная валидность, как показывают исследования, имеет следующие варианты: очевидная валидность, валидность, основанная на опыте, на убеждении и на желании.
Очевидная валидность исходит из того, что якобы данный метод исследует реально существующие факты и закономерности. Например, неуверенность в себе исследуется с помощью вопросов на неуверенность, а знания по истории с помощью конкретных вопросов по истории и т. п.
Очевидная валидность соответствует подлинной валидности по содержанию только в том случае, если это дидактические тесты или тесты знаний. Во всех остальных случаях надо исследовать тест на валидность.
Валидность, исходящая из опыта, основывается на личном чувстве психолога, что так он «понимает испытуемого».
Валидность, опирающаяся на убеждение, исходит из необоснованного убеждения, что метод хорош, так как, например, хорошей является теория или результаты, полученные с его помощью.
Валидность всех психодиагностических методов, кроме дидактических, проверяется психометрическими методами. Процесс валидизации осуществляется с помощью подсчета различных коэффициентов корреляции для подсчета отношения между результатами метода и значением критерия. Коэффициент валидности может быть выражен и с помощью теста, коэффициента эктропии, теста Х2, с помощью прогностических таблиц и иных мер отношений.
Теоретическая валидность определяется на основе логического доказательства и эмпирического подтверждения последствий, вытекающих из теории, определяющей метод и его интерпретацию. Преимуществом теоретической валидизации является применение факторного или дискриминационного анализа, но в матрицу анализируемых переменных должны входить и методы с известной валидностью, чтобы с их помощью можно было адекватно интерпретировать факторы и синдромы.
Валидность отвечает на вопрос: «Измеряем ли мы то, что думаем измерять». С этой точки зрения можно говорить о следующих типах валидности.
1. По содержанию выражает соответствие между тестом и исследуемой характеристикой. Пригодность методики определяется, например, на основании репрезентативного сходства между содержанием вопросов (заданий) и компонентами изучаемой характеристики личности; способ ее определения – логико-семантический.
2. Текущая валидность выражает соответствие между результатами и параллельно применяемыми критериями. Часто используется метод известных групп и сравниваются результаты обеих групп.
Важна точная идентификация известных групп.
3. Прогностическая валидность выражает соответствие между результатами теста и критерием спустя определенное время. Например, при исследовании тревожности мы анализируем поведение и сопоставляем его с результатами тестирования. Подходящим критерием, например, может быть успеваемость в школе и т. п.
4. Конструктная валидность выражает соответствие между тестом и изучаемой модальностью внутреннего мира человека. В этих целях часто результаты тестирования сравниваются с надежными тестами, измеряющими эту модальность.
Эмпирически очевидные показатели, которые служат для проверки валидности теста, обозначаются термином критерий. В большинстве процедур по валидизации имеет место внешний критерий. Обычно им является знакомый и очевидный индикатор психической характеристики, для определения которой и создается метод.
Критерием чаще всего бывает проявление изучаемой характеристики в повседневной жизни. Однако это должны быть такие данные, которые сами по себе не могут заменить метод, иначе было бы бессмысленно создание методики. Достаточно тогда было бы использовать в качестве метода сам критерий. В патопсихологии критерием является диагноз врача.
В промышленности – количество аварий, количество поощрений или изобретений и др. В школе критерием может быть оценка успеваемости и поведения.
Критерий – это очевидный показатель тех характеристик личности, именно показатель, определяемый независимо от предъявления теста. Было бы ненаучным, если бы критерий исследовался и выражался – сознательно или неосознанно – в зависимости от знания тестовых результатов отдельных испытуемых.
Критерием может служить и ранее проверенный практический тест или общепринятая хорошая теория.
Критерием может быть и возраст, при. условии, что с возрастом регулярно повышаются или снижаются показатели изучаемого явления.
В группу деятельностных критериев относят, например, производительность труда, качество результатов труда, заработок и др. К постоянным и объективно данным критериям относят возраст, пол, количество пропусков на работе, текучесть кадров и т. п.
Результаты критерия редко бывают представлены в шкальных единицах (то есть интервалах или в равных единицах измерения в системе измерения). Чаще всего в единицах квантила: это порядковые степени, порядковое место или только качественные (номинальные) категории (типы). Тест имеет столько валидностей, сколько имеется критериев. В традиционной теории тестов одним из основных критериев качества теста является его надежность.
Надежность метода подразумевает, что результаты одних и тех же испытуемых не меняются даже при повторном обследовании после более длительного времени.
Надежность проявляется в том, что в руках разных экспериментаторов выявляется одно и то же, результаты также независимы и от социодемографических факторов.
Источники результатов исследования можно рассматривать на следующих уровнях:
• несовершенство психодиагностического метода, который порождает постоянные и случайные ошибки;
• ситуация обследования (влияет на результаты время дня, размещение испытуемых при групповом тестировании и т. п.);
• личность экспериментатора; роль, в которой он выступает для обследуемых;
• психическое функциональное состояние обследуемых;
• способ оценивания результатов и их интерпретация.
Интерпретация результатов является объективной и однозначной только при условии, что она касается однозначного сравнения диагностической информации с эталоном или количественной нормой. Но когда психолог пытается объяснить, какой смысл имеет диагностическая информация, какое место она занимает в структуре деятельности субъекта, он попадает в область не науки, а искусства.
Таким образом, критерий эффективности практической работы психодиагноста определяется надежностью инструментов его работы и его профессиональной позиции, в которой большое место занимает рефлексия на содержание обобщенной психологической теории и его личное отношение к своей профессии, позволяющее строить отношение с клиентом, заказчиком и пользователем при получении психологической информации.
Правообладателям!
Это произведение, предположительно, находится в статусе 'public domain'. Если это не так и размещение материала нарушает чьи-либо права, то сообщите нам об этом.