Руслан Степанов.
Оценка надежности экспертизы, проводимой Е.М. Кривошеевым.
Оценкой надежности экспертизы, проводимой Е.М. Кривошеевым, я занялся в 1999 г. и продолжаю отслеживать ее по сей день. Чтобы такая оценка сохраняла свою независимость, я намеренно не вникаю в содержание методики, которой пользуется Е.М. Кривошеев, и выработал дополняющую систему критериев поверки результатов. Ключевой параметр этой системы — "масса" сходств. Я собираю в электронной форме тексты, фотографии, аудио и видеозаписи знаменитостей, родственников, знакомых, учеников и клиентов Е.М. Кривошеева, такую информацию предоставивших. Причем, тексты при поверке не учитываю, так как эксперт их уже учел. Из остальных факторов наиболее информативными оказались: интонация ("нотки голоса", манера петь, способность подражать пению и интонациям представителя того же типа), мимика (выражение лица, мета-сообщение), жестикуляция и походка, манера танцевать. Много сходств внутри типа обнаруживает также культурно-зависимая составляющая материала: имидж, гражданская позиция и т.п., однако она служит скорее источником ошибок "первого впечатления", чем дополнительным фактором проверки.
Мы совместно исходим из минимального предположения: что диагностируемый тип присутствует у каждого человека и не меняется в течении его сознательной жизни, а проявляется в той или иной мере во всех сенсорно-значимых модальностях.
Упрощенно, процедура проверки такова. Собранные образцы перечисленных выше видов составляют информационное поле. Оценка типа, данная Е.М. Кривошеевым, делит поле образцов, соответственно, на 16 кластеров, внутри которых поле близко к непрерывному, а между кластерами обнаруживаются дискретные скачки. В книге приведены физиономические выборки из кластеров. Легко видеть, что на каждой отдельной странице мимических сходств между фотографиями значительно больше, чем между этими страницами.
Берем новый образец, помещаем его в контекст кластера того типа, который эксперт назначил прототипу (то есть человеку, запечатленному в образце). Вычисляем массу сходств в отношении объект-контекст (степень сходства между оцениваемым образцом и каждым образцом из накопленной базы, содержащем информацию о соответствующем факторе, и относящимся к данному кластеру). Если масса превысила критический порог, объект сливается с контекстом, результат принимается, образец добавляется в кластер данного типа. Если масса оказалась ниже, запускается процедура подсчета сходств в контексте остальных кластеров. Если образец не обнаруживает устойчивого максимума сходств ни в одном кластере, он бракуется, но сохраняется в базе. Если образец обнаруживает максимум сходств с одним из остальных кластеров (то есть, тяготеет к другому типу), он проверяется на принадлежность к прототипу. Если выясняется, что образец подложный либо сфабрикованный, он бракуется и удаляется из базы. Если же образец признается принадлежащим прототипу, проводится сбор дополнительных образцов этого прототипа. Новые образцы оцениваются аналогичным образом. Если и они не добирают до критического порога сходства с назначенным экспертом типом, эксперту выдается запрос на повторную экспертизу прототипа. Эксперт проводит более детальную экспертизу, проверяет при этом и возникшую альтернативную версию, основанную на сходстве. Критерий настроен так, что примерно в половине случаев эксперт меняет свою оценку, а в другой половине — корректируется набор факторов, используемых при подсчете массы сходств.
После корректировки набора факторов (и их удельных весов) требуется пересчет массы сходств внутри кластеров. Тогда вышеописанная процедура проводится уже не для новых образцов, а для раннее накопленных. Это довольно трудоемкая задача, поэтому она выполняется не сразу целиком, а путем отбора "критических позиций". Выполнение части задач откладывается до поступления новых образцов, относящихся к этим позициям (позиция = прототип). В результате перепроверки критических позиций некоторые из них переопределяются в другой тип. Во всех случаях окончательное решение — за экспертом.
Все переопределения эксперта система учета трактует как его ошибки, по которым и оценивается его надежность. Причем, сокрытие экспертом своих ошибок исключается нашим соглашением и той мотивацией, что заставляет нас вести эту работу. Здесь следует оговориться: так как описанная экспертная система решает еще и задачу управления качеством, она оперирует не просто вероятностью ошибки, а соотношением цена/качество, где в случае живых интервью роль цены играет время интервью (среднее, максимальное, минимальное), скрытность интервью или напротив — убедительность отчета клиенту, кроме того — задействованные сенсорные каналы (при личном присутствии, телекамере, телефоне, переписке через интернет). А а случае дистанционной оценки без обратной связи — объем обработанного материала (длина текста, количество и размер фотографий, длительность аудио и видеозаписи). Роль качества играет субъективная оценка уверенности эксперта, которая постфактум тарируется частотой ошибки, а также оценка клиента и оценка стороннего наблюдателя, и даже оценка всего происходящего из "4-й позиции".
Испытания в различных режимах управления качеством дают целый спектр статистически неоднородных результатов. Кроме того, быстрый рост мощности системы обесценивает оценки прошлых лет. Формализация всех этих условий привела бы к столь сложным математическим выкладкам, что для оценки их состоятельности читателю потребовался бы эксперт по математической статистике. Поэтому я приведу максимально упрощенные расчеты, дающие-таки адекватное представление о достигнутой надежности.
Надежность оценки при диагностике в живом интервью. Условия: среднее время — 40 мин, минимальное — 15 мин, максимальное — 2 часа. Для 80% потока время в интервале от получаса до часа. Обстановка комфортна для обеих сторон.
Актуальный уровень надежности достигнут 7 лет назад. Есть порядка 200 клиентов, прошедших полноценную диагностику с того момента и по сей день, с которыми до сих пор поддерживается связь, позволяющая всесторонне перепроверять результат, полученный в первом интервью. В этой выборке обнаружено всего 3 ошибки, причем все они приходятся на первые 4 года из 7 и выявлялись в течение одного-полутора месяцев после интервью. Учитывая эти обстоятельства, можно с достаточной степенью уверенности предположить, что к данному моменту выявлены все ошибки, допущенные за первые 5 лет. На первые 5 лет приходится 150 клиентов. Оценим надежность в этом временном интервале. Легко подсчитать, что средняя вероятность ошибки составляет с таком случае 3/150 = 2%. Так как частота в выборке — величина случайная, воспользуемся интервальной оценкой, основанной на аппроксимации случайной вероятности ошибки нормальным распределением. СКО (σ) этого распределения составит чуть больше 1% ( = √0.02×0.98/150), а интервал 3σ, соответственно, 3%. Таким образом,
с доверительной вероятностью 0,997 истинная вероятность ошибки не превышает 5%.
Притом, что мне не привелось засвидетельствовать всю эту выборку лично, я располагаю прямой и косвенной информацией, достаточной для того, чтобы поручиться за достоверность результирующей цифры.
Интервал последних 3-х лет на первый взгляд более выигрышен из-за полного отсутствия обнаруженных ошибок, однако выборка этого интервала мала (ок. 80 человек), поэтому статистика в целом согласуется с гипотезой 5%-го интервала вероятности ошибки, и я не вижу резона оценивать его отдельно. Кроме того, к тому времени я потерял интерес к диагностике в личном присутствии, поэтому выборка последних лет мной не изучена. О надежности, достигнутой за последние 3 года, мне гораздо больше говорят результаты дистанционной оценки без обратной связи, притом что сами они содержат больше ошибок.
В 2002 г. мы вплотную занялись интернет-диагностикой, и в рамках этой проблемы стали тренироваться, определяя типы знаменитостей по материалам публикаций и эфиров. Так как количество доступного материала о знаменитости сильно колеблется от случая к случаю, а цель работы — уже не достижение максимальной надежности в каждом отдельном случае, а максимальный рост потенциала надежности в единицу затраченного времени, то оценки в целом более рискованные. Чтобы отслеживать уровни риска, мы ввели 10-бальную шкалу субъективной уверенности эксперта, где 0 баллов означает отсутствие каких-либо догадок о типе, а 9 — всесторонне ощутимую уверенность. Е.М. Кривошеев за все время такой работы вынес определение по 900 позициям. 130 из них он отметил уверенностью "9". По этим позициям мы до сих пор не обнаружили ни одной ошибки. 720 позиций помечены уверенностью от "7" до "9". По ним обнаружено всего 5 ошибок. Согласно расчетам, ожидается еще 2 ошибки. Таким образом, средняя вероятность ошибки в этой выборке составляет 10%. Соответствующая интервальная оценка: с доверительной вероятностью 0.997 вероятность ошибки лежит в пределах 7% — 13%.
Отметка "5" и ниже сохраняется сейчас лишь для полусотни позиций. Она может быть вызвана как недостаточной длиной текста, так и неформализованным несогласием эксперта с наиболее вероятным результатом, вычисленном по правилам методики. Во втором случае мы в последствии чаще всего обнаруживаем ошибку, что свидетельствует о том, что интуиция эксперта "знает больше", чем метод, основанный исключительно на анализе текста. Таким образом, мы имеем возможность оценить порядок точности текстологического метода в отрыве от интегральной оценки. Интегральная оценка существенно точнее, так как основана 1) на разделении видов экспертизы по сенсорным модальностям, 2) на взаимной проверке результатов, когда эксперт мотивирован обнаружить ошибку партнера. Причем, вовсе не обязательно, чтобы эксперты, задействованные в системе, имели близкие показатели надежности. Рассмотрим для примера простейший случай: пусть в системе 2 эксперта. Один эксперт ведет диагностику с ошибкой 10%, а другой — независимую (за счет того, что наборы признаков не пересекаются) диагностику с надежностью 50%. Тогда результирующая ошибка системы составляет 0.1×0.5 = 5%.
Следует также отметить, что этим летом Е.М. Кривошеев интегрировал в свою практику поверку результатов диагностики по визуальному определителю, демонстрационная версия которого помещена в этой книге. Несомненно, это повышает надежность его экспертизы, однако статистическое подтверждение тому накопиться еще не успело.
Еще одна составляющая надежности эксперта — устойчивость к различного рода помехам. Я исследовал ее достаточно жестко. Выяснилось, что попытки клиента играть несвойственную роль не оказывают влияния на точность результата, хотя нередко увеличивают время интервью. Выбор обстановки, в которой проходит интервью, также не оказывает решающего значения, хотя при высоком уровне шума возникают вполне объяснимые затруднения — клиента не слышно. Выносливость: два интервью подряд проходят без напряжения, 4 подряд — вызывают усталость, так что планировать больше 4 интервью в один рабочий день не рекомендуется. Неконтролируемая потеря внимания в 3-4 интервью не наблюдается. Дистанционная экспертиза по тексту проходит за 10 — 30 мин. и вызывает меньшую усталость, так что дневная выработка может достигать 20 единиц. Мнения других лиц, высказанные в процессе диагностики в живом интервью в присутствии наблюдателей, в целом помогают — сокращают время поиска правильной версии, как через согласие, так и через несогласие. Однако в первые годы имели место ошибочные ссылки, вызванные, по всей видимости, чувством уважения к учителю, в результате чего его мнению придавался больший удельный вес, чем оно того заслуживало. (К настоящему моменту практически весь объем этих ссылок переработан. При оценке надежности дистанционной оценки ошибочные ссылки мы не учитываем, только самостоятельно полученные результаты. Притом, что в начале работы опорная база бала наполнена именно такими ссылками.)
Сегодня мы являемся свидетелями того, как внедрение соционики на крупных предприятиях обнажило проблему надежности диагностики. При смене предприятием эксперта возникает непонимание между заказчиком и исполнителем в оценке дальнейшей применимости ранее накопленных результатов диагностики. Заказчик считает их вполне применимыми, исполнитель — полностью негодными. При цене диагностики порядка 1000 р. на человека и штате предприятия порядка 1000 чел. цена этого вопроса — порядка 1 млн. р.
Еще драматичнее ситуация при расширении штата экспертов до 2-х и более — возникают неразрешимые проблемы со сходимостью их результатов. Поэтому я спешу предупредить потенциального корпоративного клиента, чтобы он не забывал соотносить применимость результатов диагностики с их надежностью. Ценность эксперта резко зависит от его надежности, и покуда эксперт не продемонстрировал свою надежность, заказчик не может даже приблизительно оценить его эффективность и границы применимости его результатов. Следует иметь в виду и то, что зачастую ошибочное знание вреднее незнания.
Чтобы проиллюстрировать глубину проблемы, приведу итоговые цифры сверки результатов Е.М. Кривошеева по примерам знаменитостей в публикациях социоников.
Я не располагаю официально согласованными данными по диагностике в живом интервью. Те выборочные данные, которые накопились по случаю, в целом согласуются с представленной картиной.
Каково разумное поведение эксперта в такой ситуации?
Если его привлекают к работе после того, как на этом месте потрудился соционик или типовед, априори эксперт должен закладываться где-то на 30%-е совпадение результатов диагностики. Он не должен использовать чужие непроверенные данные, осуществляя собственный консалтинг. Таким образом, диагностику он всегда осуществляет заново.
А если заказчик попросит эксперта для начала оценить надежность работы его сотрудника, выполнявшего соционическую диагностику?
Надо понимать, что проверка — тоже работа, и проверять весь штат эксперт согласится только за деньги. Конечно, если предлагаемый фронт работ достаточно большой, можно выполнить выборочную проверку, причем не с точностью до типа, а на "совпадает/не совпадает". Достаточный объем выборки — до третьего несовпадения. Если заранее подготовить досье сотрудников, содержащие их фотографии и тексты (чем менее формальные, тем лучше), проверка займет не больше часа. Чтобы показать свою состоятельность, эксперту достаточно провести показательную диагностику одного из "несовпавших" сотрудников в присутствии потенциального заказчика и показать им достаточный уровень "осведомленности" о сильных и слабых сторонах этого человека, касаемо информационного аспекта его трудовой деятельности. Если первая демонстрация покажется заказчику недостаточно убедительной, можно повторить. На каждую демонстрацию нужно по часу. Причем, эксперт не должен демонстрировать диагностику на представителе заказчика, принимающем решение, так как это может помешать ведению переговоров. Следует также иметь в виду, что в нынешних условиях эксперту во всех отношениях невыгодно проводить диагностику в отрыве от консалтинга, поэтому не удивляйтесь, если он назовет одинаковую цену (в расчете на одного человека), что за консалтинг, что просто за диагностику.
Простые расчеты иллюстрируют, сколь сильно применимость результатов диагностики зависит от их надежности. Примерная задача кадрового консалтинга с учетом типов — сборка команды и обучение ее эффективному информационному взаимодействию. Секрет ее решения — не столько в подборе типов, сколько в их совместном обучении. Тем не менее, задача эта требует правильной диагностики и типов, и интертипных отношений. Чтобы правильно посчитать интертипное отношение, необходимо не ошибиться в типах обеих сторон. В команде же сторон столько, сколько человек одновременно присутствуют при обсуждениях, совещаниях, и т.п. Если вероятность верного определения одного человека равна p , и определения независимы, то вероятность верного определения n человек равна pn . Смотрите, как будут падать вероятности правильной сборки с ростом размера команды при вероятности верного определения одного члена 50% и 98%, соответственно:
| Численность команды |
50% | 98% |
|---|---|---|
| Вероятность правильной сборки | ||
| 2 | 25% | 96% |
| 3 | 13% | 94% |
| 4 | 6% | 92% |
| 6 | 89% | |
| 8 | 85% | |
| 12 | 78% | |
| 16 | 72% | |
Легко видеть, что надежность 50% не дает положительного эффекта даже при сборке команды из 2 человек — больше шансов за то, что те двое найдут и поймут друг друга естественным путем. Колонка "98%" в комментариях не нуждается.
Резюме. На сей момент Е.М. Кривошеев — единственный из известных мне экспертов, которого я смело рекомендую под задачу сборки команды с учетом соционических типов.
© Руслан Степанов, 14.10.2004