Ключевые узлы и сложные задачи проекта

Задачи системы динамического тестирования (СДТ)

Существует два уровня динамического тестирования:

• Определяет архитектуру тестирования в целом – то есть какие именно тесты будет проходить пользователь, а какие нет. В процессе прохождения тестов архитектура динамически меняется.
• Определяет работу самого теста: до какого уровня сложности тест будет «раскрываться» перед пользователем.

Есть два типа решения задач СДТ:

• Проработка типовых «сценариев» тестирования (псевдодинамическое тестирование).
• Полноценное динамическое тестирование: требует большого количества ресурсов из-за несоизмеримо большого количества проверяемых коррелирующих параметров.

В настоящее время выбран последний вариант, но, возможно, требуется пересмотреть сам принцип подхода.

В отдельной записи блога расскажем о комбинированной работе режима СДТ с возможностью пользовательской коррекции его предложений: пользовательская коррекция перестраивает алгоритм СДТ, тем самым формируя новые рекомендации для пользователя.

Основная задача, решаемая при разработке СДТ, была «не выплеснуть ребенка», то есть не сузить список предлагаемых пользователю тестов до минимума на основе неверно интерпретируемых ответов из-за общей низкой валидности входного тестирования. Кроме основного решения мы разработали дополнительные «страховочные» механизмы.

Задачи входного тестирования

Ключевым тестом является т.н. «входящий тест», который и запускает первый уровень динамического тестирования. Существует множество вариантов решений, на текущий момент принято решение отталкиваться от «теста мотивов» со встроенным тестом «выбор цели тестирования».

То есть идем от аксиологического подхода и учитываем формулировки общего запроса клиента к остальным тестам, предлагаемым системой ДТ.

Режим «полного доверия», когда пользователь (психолог-консультант) может корректировать выбор динамической системы, является дополнительной страховкой для эффективной работы комплекса.

Использование А/Б-тестирования

В тех тестах, которые представляют собой классические опросники или кейсовые методики, используется А/Б-тестирование, то есть разным пользователям могут быть предложены разные по содержанию, но одинаковые по целям и измеряемым шкалам вопросы/кейсы.

Использование А/Б-тестирования:

• Позволяет сохранять разнообразие при повторных прохождениях теста.
• Позволяет отобрать и отсеять невалидные вопросы/кейсы.

Формула А/Б-тестирования описана здесь.

Машинное обучение

Задача машинного обучения – оптимизация алгоритма динамического тестирования после анализа пользовательских данных и маршрутов, а также после получения обратной связи по комплексу как в ручном (фокус-группа), так и автоматизированном режиме (встроенные в комплекс).

Этот модуль закладывается в общую архитектуру «Профпроб-360», но на первом этапе не разрабатывается и не используется.

Формула определения веса соответствия профессии

Формула, которая соотносит качества профессии и качества пользователя и в результате повышает или понижает вес профессии. В основе формулы таблица «баллов» за соответствие и несоответствие.

Есть несколько решений для формулы:

• Общая формула, которая механически оценивает качества / профессии по одному алгоритму.
• Индивидуальная формула профессии, когда для каждой профессии могут использоваться свои баллы и своя процедура «взвешивания».

Есть плюсы и минусы каждого решения.

Мы прогнали обе линии на имитаторе тестов (программа создана на python): общие отклонения для большинства «индустриальных» профессий оказались незначительны, а вот для «постиндустриальных» (где «меньше качеств», но «больше компетенций») – выпадают. Для них остается индивидуальный подход.

«Сложные профессии»

Формула определения веса соответствия должна учитывать, что количество взвешиваемых параметров разное для различных профессий.

Формула «веса соответствия профессии с учетом всей карты ПВК оптанта»

Данная формула остается в рамках типологического подхода, но учитывает не только прямое соответствие ПВК требуемым, но и те ПВК, которые у пользователя развитые, но остались не реализованными в данной профессии.

Формула «веса соответствия профессии с учетом всего портрета пользователя»

Эта формула уходит от типологического подхода в сторону аксиологического: к предыдущей формуле добавляются взвешивание и учет мотивов и ценностей пользователя. В настоящее время найден баланс веса между «решениями» типологической формулы и аксиологической.

Концепция взаимодействия пользователя и комплекса «Профпробы-360»

Концепция включает вопросы взаимодействия пользователя и комплекса. Предусматривается, что интерфейс должен всецело мотивировать пользователя на полную отдачу и «честную работу» с комплексом, быть информативным, помогать и осуществлять психологическую поддержку пользователя во время тестирования.

Концепция рассматривает вопросы использования как единого, неизменяемого дизайна, так и применение динамического дизайна, формируемого с учетом возраста, пола или цели запроса пользователя.

Концепция выходит за рамки дизайна только программы и учитывать оформление всех составных частей комплекса и окружающего его пространство.

Отладка и тестирование продукта

Для отладки необходима база для тестирования продукта на двух типах аудиторий:

• школьники 12-18 лет
• взрослые 18-35+.

Для этой цели приглашаются организации, ставшие экспериментальными площадками проекта Навигатум (оставить заявку можно здесь).

Нюансы:

• самостоятельное приобретение оборудования (сенсорного монитора).
• большая пропускная способность за короткое время (на первом этапе нужно проверить не менее 1000 «успешных» пользователей + потом провести их опрос через онлайн-анкету).

Сбор пользовательских данных

С целью оптимизации системы собираются все данные о работе пользователя в системе, но без сбора персональных данных, позволяющих идентифицировать пользователя.

Удаленный интерфейс для психолога

Предполагается, что при индивидуальных консультациях психологу потребуется посмотреть как на результаты прохождения каждого теста, так и на предлагаемые в итоге профессии.

Фактически – это должна быть отдельная программа, так как предполагается, что сам аппаратный комплекс будет занят, а психолог должен получить данные с ноутбука.

Удаленный интерфейс для пользователя

Предполагается, что после окончания тестирования, пользователь должен «освободить место» для нового пользователя. Но работа по изучению каталога профессий, фильтрации – должна ли она производиться на основном стенде или может быть вынесена за его пределы?

Оптимально произвести ее на самом интерактивном столе, так как там информационная поверхность больше, чем у любого ноутбука/обычного монитора.

С другой стороны, есть частичное решение, когда пользователь, после работы с атласом профессий и внесением профессии в «избранное», распечатает на принтере этикеток QR-код и зашифрованный адрес, где будет страница со списком профессий именно этого пользователя.