Использование информационных технологий в современном образовании. Применение системы контроля знаний в системах дистанционного обучения. Алгоритмы автоматизированной оценки свободно-конструируемых ответов. Применение модифицированной частотной матрицы.
Аннотация к работе
Данная магистерская диссертация рассматривает вопросы проектирования и разработки системы контроля знаний (СКЗ) с возможностью оценки ответов в свободно-сконструированной форме. В ходе выполнения работы проведен системный анализ, включающий декомпозицию задачи, анализ объектов предметной области, а также моделирование разрабатываемой СКЗ. Рассмотрен ряд существующих аналогов разрабатываемой системы, выявлены их основные недостатки и в ряде случаев предложены способы их устранения. Для основных типов тестовых вопросов выбраны способы автоматизированной оценки, включающие алгоритмы обработки естественного языка (латентно-семантический анализ, аннотированное суффиксное дерево), алгоритмы обработки структурированного текста и алгоритмы обработки изображений. В заключение сделаны выводы о проделанной работе и рассмотрены перспективы использования систем контроля знаний с возможностью распознавания свободно-конструируемых ответов.Анализ современных систем с возможностью оценки свободно-сконструированных ответов, проведенный в ходе выполнения настоящей работы, выявил ряд общих недостатков, самыми существенными из которых, по мнению автора, являются высокие трудозатраты на построение модели для оценки ответа, возможность оценки лишь ограниченного набора типов тестовых вопросов, отсутствие в сопроводительной документации достаточной информации об использованных алгоритмах оценки и результатах экспериментального тестирования. Разработанная в рамках выпускной квалификационной работы система избегает ряда выявленных недостатков. Тестирование с ответами в открытой форме также позволяет оценить ряд компетенций испытуемого, не поддающихся контролю методами тестов классической теории тестирования с вопросами закрытой формы. На этапе анализа были рассмотрены существующие системы с возможностью оценки свободно-конструируемых ответов, типы тестовых вопросов, а также применяемые для их оценки алгоритмы. Прототип системы разрабатывался сообразно принципам объектно-ориентированного программирования, что обеспечивает наглядность программной архитектуры, простоту изменения системы и возможность интеграции в системы более высокого уровня.Существующие сегодня системы с возможностью оценки свободно-конструируемых ответов не всегда отвечают заявленным требованиям и обладают рядом общих недостатков, среди которых можно выделить возможность обработки ограниченного набора типов вопросов, невозможность интеграции в системы более высокого уровня и отсутствие информации об экспериментальном тестировании в сопроводительной документации. Существует две принципиально разных группы методов для оценки свободно-сконструированных ответов: методы, основанные на правилах, и статистические методы. Первые обеспечивают более предсказуемые результаты оценки, но требуют больших трудозатрат преподавателя-эксперта для составления модели оценки. Методы анализа естественного языка (например, метод аннотированных суффиксных деревьев и метод латентно-семантического индексирования, реализованные в работе) могут успешно применяться для оценки свободно-конструируемых ответов пользователя, но требуют поиска размеченных корпусов текстов для обеспечения должной работоспособности. Использование ответов в открытой форме позволяет повысить объективность педагогического тестирования, а также оценить ряд компетенций, недоступных для оценки тестами в закрытой форме.