Электронная библиотека » Ю. Забродин » » онлайн чтение - страница 9

Текст книги "Психодиагностика"


  • Текст добавлен: 4 ноября 2013, 22:14


Автор книги: Ю. Забродин


Жанр: Общая психология, Книги по психологии


Возрастные ограничения: +16

сообщить о неприемлемом содержимом

Текущая страница: 9 (всего у книги 30 страниц) [доступный отрывок для чтения: 10 страниц]

Шрифт:
- 100% +
О научных основах современной практической психодиагностики

Можно утверждать, что указанные недостатки психодиагностических методов и подходов к практическому использованию психодиагностических данных во многом являются результатом отсутствия единых концепций, определяющих содержание конкретных методик и организацию их применения. И хотя различные подобные концепции неоднократно предлагались как средство развития теории психодиагностики и технологии организации психодиагностических обследований, достоинства, ограничения и недостатки таких концепций внятно и достаточно детально проанализированы в работах ведущих специалистов в данной области. Результаты анализа свидетельствуют о том, что, несмотря на интенсивное развитие прикладной психодиагностики как науки об объективной оценке явлений и событий реальной жизни человека, пока не сформировались единые общетеоретические подходы к решению задач психологической практики. Поэтому еще сохраняется излишнее разнообразие в понимании психодиагностических задач, существует большая неопределенность в подходах к определению базовых моделей личности, пригодных для практического применения, нет технологичных и нормативно обеспеченных решений в вопросах организации психологических обследований.

Вместе с тем практическая психодиагностика неуклонно развивается несмотря на отрицательное влияние отмеченных выше концептуальных неопределенностей и излишнего разнообразия интерпретаций. Следует признать, что этому способствуют пока немногочисленные теоретические исследования, направленные на формирование методологии психодиагностики, а также растущая квалификация практических специалистов, которая позволяет компенсировать указанные недостатки теории и методологии практическим опытом и специализацией в конкретных областях практического применения психодиагностических методов.

Однако дальнейшее развитие психодиагностики, требующееся для удовлетворения все более возрастающих запросов социальной практики, неизбежно возвращает нас в область научных основ практической психологии, приводит к необходимости периодического переосмысления и переработки фундаментальных представлений и существующих теоретических концепций, новых форм учета накопленного эмпирического опыта и разработки более совершенных средств психодиагностики, в том числе, с опорой на современные информационные технологии.

Подобные попытки неоднократно предпринимались и ранее. Их можно считать – более или менее – удачными. Они не решали проблему полностью, но каждая из них оказывала свое позитивное влияние на практику психодиагностических обследований. Общим достоинством для всех из них является то, что их авторы уделяют много внимания конкретным методам и процедурам обработки результатов реальных ситуаций. Общим недостатком – то, что при этом чаще всего не рассматривались проблемы, возникающие при сопоставлении и сравнении данных, полученных с помощью различных методов и вследствие разных подходов к интерпретации таких данных с точки зрения конечной цели их использования. На наш взгляд такое положение сложилось в результате неоправданной абсолютизации технологических проблем психодиагностики в ущерб использованию методологических достижений психологической науки. В частности, возникший в психологическом сообществе «методологический иммунитет» не позволяет увидеть возможности практического использования фундаментальных методологических принципов – развития, целостности, системности, хотя в связи с реальной многоаспектностью любого психодиагностического решения целесообразность такого «принципиального» рассмотрения достаточно очевидна.

Аналогичные суждения можно высказать и по поводу комплексности не только в организации методов практического психодиагностического обследования, но и необходимой комплексности в разработке их методологической основы.

Мы рассмотрели лишь некоторые аспекты развития методологии психодиагностики и выработки технологических рекомендаций для проведения психодиагностических обследований. Полагаем, что развитие методологии практической психологии представляет собой практикоориентированное обобщение положений, известных в различных разделах научной психологии, обобщение, основанное на принципах развития, системности и комплексности. Эти принципы весьма положительно зарекомендовали себя в общей теории психологии, и их применение при разработке научных основ практической психологии на наш взгляд должно способствовать повышению валидности и достоверности как отдельных психодиагностических методов, так и данных комплексных обследований.

Методы индивидуальной и групповой работы в современной психодиагностике

Рассматривая комплекс средств, с помощью которых решаются основные задачи, решаемые практическим психологом, мы можем условно разделить его по критерию направленности на две группы: методы индивидуальной и методы групповой работы.

Методы индивидуальной работы возникли вместе с появлением собственно психодиагностики. Ее история – это и история появления основных психодиагностических методик. С того времени, как Ф. Гальтон ввел термин «тест», специалисты, занимающиеся психодиагностическим инструментарием, активно занимались в первую очередь разработкой диагностических методик, позволяющих измерять отдельно те качества, которые характеризовали внутренней мир человека. В основе выбора психодиагностической методологии, конструирования психодиагностических методик, их использования в практике лежали определенные представления о закономерностях развития и функционирования психики. В частности, фиксация самого поведения и его различных сторон имеет под собой идеи бихевиоризма. Дж. М. Кеттелл был первым, кто использовал в психологической экспериментатике интеллектуальный тест. Процедура тестирования по форме была очень похожа на приемы лабораторного исследования, но смысл здесь был принципиально иным. В отличие от психологического эксперимента, где задачей является выяснение зависимости психического акта от внешних и внутренних факторов, при тестировании регистрируются индивидуальные различия психических актов, а полученные результаты оцениваются при помощи некоторого критерия, при этом не изменяя условий их осуществления. Следует отметить, что методы индивидуальной работы в основном применялись в клинике и для консультирования.

До конца первого десятилетия XX в. в психодиагностике использовались методы индивидуальной работы. Специально подготовленные психологи, имеющие достаточно высокую квалификацию, проводили диагностическую работу только с одним человеком. Но развитие и усложнение промышленного производства, многих сфер деятельности человека диктовали необходимость разработки способов профотбора, профподбора и дифференциации, позволяющих применять их для больших масс людей. Отвечая этим потребностям, специалисты разработали новую форму диагностических обследований – групповое тестирование, которое появилось в США в период Первой мировой войны.

Групповые тесты не только позволяли достаточно быстро проводить измерения в больших группах людей, но и были просты в работе, что позволило привлекать к такой работе людей, не имеющих специальной подготовки в области психологии, а всего лишь обученных навыкам проведения процедуры тестовых испытаний. Групповые методы использовались преимущественно в системе образования, в промышленности и в армии. В частности, на этом этапе развития психодиагностики были созданы и стали широко применяться две формы армейских тестов – Альфа (Army Alpha) и Бета (Army Beta). Их разработка был обусловлена необходимостью быстрого отбора и распределения по различного рода службам, школам и училищам полуторамиллионной армии рекрутов.

Мощное развитие профессионального консультирования, а также профессионального отбора и распределения персонала в промышленности и военном деле стало толчком для развития тестов специальных способностей. Появились тесты механических, канцелярских, музыкальных, артистических способностей, тестовые батареи (комплекты) для отбора поступающих в медицинские, юридические, инженерные и другие учебные заведения. В это время было разработано около дюжины комплексных батарей способностей для использования в образовании и при консультировании и распределении персонала.

Наряду с широким распространением тестов специальных способностей возник спрос и на тесты достижений, которые стали особенно широко применяться в учебных заведениях. Эта группа психологического инструментария позволяла уже отражать не столько влияние многообразного накопленного опыта, сколько влияние специальных программ обучения на эффективность решения тестовых заданий. Наиболее значительная разработка элементов техники конструирования тестов достижений выполнена в течение Первой мировой войны и сразу после нее.

Отметим, что тесты достижений относятся сегодня к наиболее многочисленной группе диагностических методик. Из них наиболее известен и до сих пор широко применяется – Стэнфордский тест достижений (Stanford Achievement Test – SAT), впервые опубликованный в 1923 г.

Также и по тем же причинам широкое распространение в начале XX в. получают различные методы диагностики личности. К этой группе в первую очередь относят разнообразные опросники и проективную технику. В частности, к прототипу современных личностных методик можно отнести опросник «Бланк данных о личности», разработанный американским психологом Робертом Вудвортсом в 1919 г. Этот опросник был предназначен для выявления и отсеивания с военной службы лиц с невротической симптоматикой.

Развитие психодиагностики как вида работы практического психолога в России связано в первую очередь с развитием психологии труда и психотехники. В рамках этих отраслей психологии в 20-е гг. прошлого века развивалась психодиагностика, результаты которой нашли применение в ряде направлений народного хозяйства, прежде всего в промышленности, на транспорте, в системе профессионального обучения. После резкого спада в развитии отечественной практической психологии, который произошел в конце 30-х гг. по всем известным идеологическим причинам, только в начале 70-х гг. XX в. наступил новый этап в развитии психологической диагностики в нашей стране. К этому времени накопленный в мировой практике опыт показал, что применение психодиагностики может принести ощутимо полезные результаты в различных сферах человеческой деятельности. Прежде всего это касалось системы образования, промышленности и клиники.

Конец XX в. для отечественных специалистов в области психодиагностики отмечен следующими важными событиями:

• появились адаптированные версии западных методик (Ф. Б. Березин, И. Н. Гильяшева, М. К. Акимова, Е. М. Борисова с соавторами);

• опубликованы в открытой печати работы по клинической диагностике (Е. Т. Соколова, Б. Ф. Бурлачук);

• появился целый ряд изданных работ по психометрике (В. С. Аванесов, В. М. Блейхер, В. К. Гайда, А. Г. Шмелев);

• стали активно разрабатываться и внедряться в практику оригинальные отечественные методики (Л. А. Венгер, А. Е. Личко, Д. Б. Богоявленская, К. М. Гуревич с соавторами);

• новый статус получила прикладная психология;

• открылись новые факультеты и отделения психологии, в учебных планах и программах которых психодиагностика стала занимать одно из ведущих мест;

• увеличение количества специалистов в области психологии породило острую нужду в надежном профессиональном инструментарии, стало мощным стимулятором интенсивного развития отечественной психологической диагностики.

Принципы разработки психодиагностических методов

Психодиагностические методы и методики являются основным средством решения теоретических и практических задач психодиагностики. Чтобы результаты их применения были достаточно информативны и обладали практической полезностью, эти методы должны удовлетворять ряду требований, обеспечивающих их эффективное применение для достижения целей психодиагностического обследования. Такие требования определяют содержание психодиагностических методик, уточняют характер осуществления с их помощью психодиагностических процедур, последовательность применения в процедуре психодиагностического обследования.

Разделение таких понятий как метод, методика, психодиагностическая процедура и процедура психодиагностического обследования нуждается в уточнении. В дальнейшем изложении будем полагать следующее соотношение перечисленных понятий.

Психодиагностический метод – это комплекс правил, рекомендаций и способов воздействия на обследуемого, позволяющий выявлять, фиксировать и оценивать свойства и закономерности психической регуляции деятельности и поведения.

Психодиагностическая методика представляет конкретизацию метода применительно к особенностям практической задачи, требующей применения психодиагностики.

Примером подобного соотношения понятий метода и методики может быть различие между определением теста как общего психодиагностического метода и содержанием какой-либо тестовой методики, общими положениями по организации беседы и содержанием беседы, проводимой в процессе конкретного обследования. Аналогичные примеры можно привести для любого из методов психодиагностики.

Порядок применения правил, рекомендаций и способов воздействия на обследуемого, интерпретации его действий или поступков составляет психодиагностическую процедуру, которая включает себя:

• способ получения исходных данных, отражающих особенности деятельности и поведения обследуемого;

• алгоритмы их обработки, необходимые для обобщения и сравнения отдельных данных (ответов на вопросы, характерных действий, поступков, движений, динамики функционального состояния и т. п.);

• способ анализа результатов обработки, позволяющий определять свойства оцениваемых закономерностей психической регуляции;

• описание возможных вариантов интерпретации результатов такого анализа с целью формирования представлений о личности обследуемого и получения на базе этих представлений необходимых выводов.

Процедура психодиагностического обследования объединяет отдельные психодиагностические действия и их сочетания, требующиеся для выявления и оценки индивидуальных особенностей конкретного обследуемого. В зависимости от этих особенностей и конечных целей обследования могут использоваться различные варианты набора и последовательности психодиагностических процедур.

Последнее уточнение обусловлено тем, что в зависимости от индивидуальных особенностей обследуемого может меняться информативность применяемых методик. Например, предварительные результаты могут потребовать различных направлений их уточнения, специфика отношения различных обследуемых к процедуре обследования и включенным в нее методикам может приводить к целесообразности изменения последовательности их применения и т. п. Поэтому процедура психодиагностического обследования должна предусматривать такие варианты последовательности применения используемых методик, которые повышают валидность, достоверность, информативность и прогностичность итоговых выводов.

Все это и является основанием для формулирования дополнительных требований к информативности и прогностичности как отдельных психодиагностических методов, так и их сочетания в рамках процедуры психодиагностического обследования. Такие требования должны обеспечиваться при разработке необходимых методов и методик и учитываться в процессе их практического использования.

Различие целей психодиагностического обследования может приводить к разнообразным требованиям, но необходимость получения достоверных, информативных и прогностичных выводов является требованием достаточно универсальным. Обычно оно обеспечивается оценкой валидности применяемых методик и уточнением психодиагностических процедур. Однако этого не всегда достаточно для их практической полезности, так как потребность в информации об индивидуальных особенностях психической регуляции деятельности и поведения определяется не только спецификой психических явлений, феноменов, процессов и образований, но еще и способами использования этой информации для принятия каких-либо решений в отношении обследуемого или в исследуемой научно-практической проблеме.

Формулирование требований, предъявляемых к психодиагностическим методам, составляет один из главных аспектов их разработки, так как подобные требования определяют конкретные цели использования методов и оценки получаемых с их помощью результатов.

Общая модель личности дополняет указанные требования необходимостью обеспечения возможности сопоставления результатов практического применения конкретных методов и методик в рамках психодиагностического обследования и получения на их базе прогностических выводов. Это дополнение следует из потребности в информации об индивидуальных особенностях закономерностей психической регуляции, возникающей в процессе применения отдельной методики, в рамках психодиагностического обследования и при дальнейшем использовании получаемых результатов обследования в целом.

Сопоставление результатов практического применения психодиагностических методов и методик требуется в процессе комплексных психодиагностических обследований. Несмотря на многообразие имеющихся в настоящее время психодиагностических методов каждый из них в отдельности решает только часть основной психодиагностической задачи. Поэтому оценка индивидуальных особенностей психической регуляции деятельности и поведения, выявление причин наличия тех или других тенденций в действиях и поступках, получение прогностических выводов обычно сопряжены с применением нескольких методик и сопоставлением результатов каждой из них. Причем это могут быть методики, относящиеся к одному или различным методам, реализующиеся в виде различных же психодиагностических процедур.

Вообще говоря, отмеченное сопоставление означает следующее. Каждая из методик может оценивать тот или другой аспект общей модели личности, а объединение этих аспектов на основании принципов комплексности и системности приводит к описанию индивидуальных характеристик общей модели, отражающей особенности закономерностей психической регуляции деятельности и поведения конкретной личности. Поэтому чаще всего психодиагностические методы используются комплексно в виде батареи, образующей определенную процедуру психодиагностического обследования.

Разработка психодиагностического метода или методики состоит в определении следующих составляющих. Прежде всего любой метод задает источники и порядок получения исходных данных, отражающих появление в деятельности и поведении представляющих интерес свойств закономерностей психической регуляции деятельности и поведения. Исходные данные должны обрабатываться определенным образом. Способ такой обработки обычно предполагает возможность группировки исходных данных в зависимости от степени их информативности и соответствия проявлениям тех из указанных свойств, которые оцениваются разрабатываемым методом. Конкретизация таких способов применительно к выделенным свойствам составляет часть методики.

Результаты обработки исходных данных нуждаются в анализе, проводимом с целью предварительной интерпретации, необходимой для оценки индивидуальных особенностей свойств психической регуляции. Подобная интерпретация уточняет применительно к личности обследуемого параметры модели, выбранной в качестве базовой концепции метода. В результате формируются предварительные оценки изучаемых индивидуально-психологических особенностей.

Обычно они бывают вероятностными, что требует уточнения достоверности предварительных оценок с помощью других психодиагностических методов или необходимых для этого способов и приемов, включенных в разрабатываемую методику. То и другое представляет собой оценку достоверности полученных результатов, которая может осуществляться как за счет применения специальных методов, так и составлять часть разрабатываемого.

В первом случае разрабатываемый метод используется в комплексе с другими, что обеспечивает возможность определения степени взаимного соответствия результатов оценки индивидуальных особенностей обследуемого. При этом важно, чтобы сравниваемые результаты были получены независимо, иначе они могут быть в равной степени недостоверными, а их сравнение не выявит этого.

Во втором случае психодиагностический метод должен включать в себя дополнительные процедуры оценки достоверности, позволяющие перепроверять получаемые результаты в рамках метода.

Предложенная общая модель личности предусматривает возможность подобной оценки достоверности через определение особенностей деятельности и поведения в ситуациях, отличающихся от тех, в которых получены необходимые для метода исходные данные.

Наиболее наглядным примером такого использования общей модели личности в процессе разработки психодиагностического метода является определение тенденций в деятельности и поведении, которые должны проявляться у обследуемого, если выявленные с помощью метода индивидуальные особенности действительно присущи ему. Проверенные таким образом предварительные оценки соотносятся с другими психодиагностическими данными для учета иерархической взаимосвязи закономерностей психической регуляции и окончательной интерпретации полученной с помощью метода информации об обследуемом. Кроме оценки достоверности это необходимо при получении обоснований для формулирования прогностических выводов.

Изложенные элементы, составляющие содержание любого психодиагностического метода или методики, определяют наиболее целесообразные направления использования общей модели личности в процессе их разработки. Одним из возможных вариантов описания таких направлений являются предложенные ниже принципы разработки психодиагностических методов. Они включают рекомендации по практическому применению тех или других аспектов общей модели личности на разных этапах разработки психодиагностических методов. Те же принципы и рекомендации можно использовать при адаптации или совершенствовании имеющихся методов и методик, уточнении психодиагностических процедур, повышающем эффективность их практического применения, а также при объединении их в процедуру психодиагностического обследования.

Собственно разработке метода или методики должно предшествовать обоснование целесообразности, практической полезности и информативности их применения для решения практической задачи.

Такое обоснование необходимо для выделения наиболее значимых с точки зрения цели психодиагностического обследования закономерностей психической регуляции – закономерностей, которые в наибольшей степени влияют на представляющие интерес тенденции в деятельности и поведении. Особенности указанного влияния зависят от критериев, по которым оцениваются деятельность, поведение или отдельные действия и поступки, и от особенностей психической регуляции, являющихся субъективными причинами проявления в деятельности и поведении тех или других индивидуальных особенностей. Поэтому выделение представляющих интерес закономерностей психической регуляции должно осуществляться на основании анализа деятельности или поведения, использующего общую модель деятельности и приводящего к разработке ее модификаций.

Порядок обоснования целесообразности использования или разработки психодиагностического метода для решения практической задачи приводит к выводам о содержании этого метода или направлениях необходимой его модификации. В частности, традиционные в психодиагностике требования стандартизации и нормирования тестовых методик представляют собой результат указанного обоснования, проводимого при изменении контингента обследуемых или целей применения этих методик.

Аналогичным образом осуществляется адаптация метода беседы, который должен быть насыщен вопросами, раскрывающими представляющие интерес индивидуальные особенности обследуемого, а также других методов. Необходимость подобной адаптации обусловлена отличием предполагаемой или предлагаемой психодиагностической процедуры от условий, на которые рассчитана адаптируемая методика.

Особо следует отметить необходимость дополнительной стандартизации и нормировки в случаях автоматизации применения психодиагностических методов на базе персональных компьютеров (ПК). Это направление практического развития психодиагностических средств получило в последнее время широкое распространение, которое выявило существенные различия в результатах при проведении обследования в автоматизированном и обычном (бланковом) вариантах даже без изменения контингента обследуемых и батареи методик.

После обоснования целесообразности применения психодиагностического метода необходимо определение его связи с другими методами и методиками. Эта необходимость обусловлена взаимосвязью закономерностей психической регуляции, которая должна учитываться при применении в процессе психодиагностического обследования различных методов или методик. Для того чтобы отмеченные методы могли взаимно дополнять друг друга, их следует использовать на основе принципа системности организации психики.

Поэтому в процессе разработки, модификации или адаптации любого из методов обязательно рассмотрение возможного влияния на получаемые результаты тех закономерностей психической регуляции, которые этот метод не выявляет и не оценивает. Общая модель личности, отражающая иерархию указанной взаимосвязи, обеспечивает такую возможность. Тем самым она определяет способы и варианты интерпретации получаемых с помощью метода данных, а также порядок объединения отдельных методик в процедуру психодиагностического обследования.

Кроме изложенного использование общей модели личности позволяет определить наиболее характерные для оцениваемой закономерности психической регуляции проявления в деятельности и поведении, включая психофизиологические реакции. Такие проявления обычно принято называть индикаторами оцениваемых индивидуально-психологических особенностей или функциональных состояний. Определение подобных индикаторов составляет исследовательскую часть разработки психодиагностического метода. Она заключается в изучении влияния представляющих интерес свойств закономерностей психической регуляции на отдельные тенденции в действиях и поступках, изменении состояния и т. п. Результатом этого исследования является выделение таких характеристик деятельности и поведения, которые могут использоваться методом в качестве исходных данных. Для тестовых методик – содержание вопросов, для методов наблюдения – характерные ситуации и особенности поведения обследуемого в них, для эксперимента – условия, побуждающие обследуемого к определенным действиям, для аппаратурных методов – способы воздействия на обследуемого и фиксации психофизиологических параметров, отражающих его состояние.

Выделение возможных исходных данных и варианты их объяснения свойствами закономерностей психической регуляции составляют интерпретацию результатов применения психодиагностической методики и являются частью психодиагностической процедуры.

Методическим обоснованием интерпретации может быть общая модель личности или ее модификация. В этом случае интерпретация сводится к отображению характеристик функционального уровня на психологический. Однако следует иметь в виду, что подобное использование общей модели личности представляет собой лишь теоретическое обоснование предлагаемых в рамках разрабатываемого метода вариантов интерпретации. Обычно оно нуждается в уточнении и проверке, составляющих основное содержание оценки надежности и валидности метода, определяемых традиционными для психодиагностики способами: оценка валидности по содержанию, по личностному конструкту и по статистическим критериям. Результаты исследования деятельности психодиагноста свидетельствуют о безусловной полезности использования перекрестной валидизации психодиагностических методов, которая учитывает многовариантность проявлений в деятельности и поведении одних и тех же свойств закономерностей психической регуляции.

Способы такой валидизации могут разрабатываться на базе общей модели личности, которая позволяет рассматривать отмеченную многовариантность как иерархическое взаимодействие механизмов психической регуляции.

К сожалению, в нашей стране не получили широкого распространения методы многомерного шкалирования, позволяющие проводить перекрестную валидизацию с использованием больших объемов данных, полученных за счет применения различных методик на многочисленных выборках обследуемых. Эти статистические методы дают возможность выделения минимального числа независимых параметров, объясняющих различие или степень сходства анализируемых с их помощью данных. При этом упомянутые в предыдущей главе ограничения методов статистического анализа аддитивностью базовых моделей не распространяются на методы многомерного шкалирования, так как последние предполагают произвольное задание метрики, характеризующей топологию пространства анализируемых данных.

Использование методов многомерного шкалирования для перекрестной валидизации заключается в определении сходства или различия между отдельными обследуемыми либо отдельными проявлениями в деятельности и поведении, которое анализируется в многомерном пространстве данных, полученных с помощью одного или нескольких психодиагностических методов. Результатом анализа является переход в пространство независимых переменных, имеющее меньшую размерность и группирующее анализируемые данные в зависимости от степени их влияния на заданное сходство или различие и взаимосвязи между собой. Подобная процедура по существу представляет собой отображение одного множества характеристик на другое. Применительно к общей модели личности это отображение характеристик функционального уровня на психологический, которое и приводит к оценке валидности психодиагностического метода. Если критерии, по которым оценивается сходство или различие, характеризуют информативность, то методы многомерного шкалирования можно использовать для определения соответствующих возможностей разрабатываемой или адаптируемой психодиагностической методики.

Обычно разработка отдельной психодиагностической процедуры на этом завершается. Однако, как уже отмечалось в данном разделе, психодиагностическое обследование чаще всего проводится за счет комплексного применения нескольких методов. В подобных случаях их информативность имеет еще один аспект. Он заключается в необходимости сопоставления результатов применения каждого из методов с целью получения обобщающих выводов об индивидуально-психологических особенностях обследуемого. Поэтому указанная информативность зависит и от того, насколько полезны результаты применения отдельного метода при формулировании выводов по результатам обследования в целом. Она может зависеть как от содержания методики, так и от порядка ее применения в процессе обследования.


Страницы книги >> Предыдущая | 1 2 3 4 5 6 7 8 9 10 | Следующая
  • 0 Оценок: 0

Правообладателям!

Данное произведение размещено по согласованию с ООО "ЛитРес" (20% исходного текста). Если размещение книги нарушает чьи-либо права, то сообщите об этом.

Читателям!

Оплатили, но не знаете что делать дальше?


Популярные книги за неделю


Рекомендации