Разработка технологии компьютерного тестирования - Дипломная работа

6.2 План разработки программного продукта7.2 Основные характеристики изображения на экранеПервый из них предполагает, что КОПР является дополнением к фундаментальным печатным учебникам и учебным пособиям для студентов, занимающихся по технологии ДО. В таком случае, объем не превышает пяти условных учетно-издательских листов по каждой дисциплине в пределах одного года обучения [1]. При этом возможен вариант, когда учебный материал настолько наглядно и полно изложен в печатном учебнике, что состав КОПР по этой дисциплине ограничивается только тестами. Объем материала в такой КОПР может превышать объем печатного аналога за счет введения тестов для самоконтроля, поясняющих примеров, разбора решений типовых задач, наличие необходимой нормативно-справочной базы и др.Справочная информация и дополнительный материал должны быть представлены в объеме, необходимом для обеспечения работы студента с основным учебным материалом. Элементы этой информации являются поясняющими или развивающими и несут важную методическую нагрузку, предоставляя студенту дополнительные сервисные возможности. В качестве дополнительного (справочного) материала могут выступать: · терминологический словарь; Терминологический словарь должен охватывать все термины, которые могут быть непонятны наиболее слабому студенту, и не допускать разночтений определений этих терминов в учебном материале и внутри словаря. Автор должен предусмотреть в словаре перекрестные ссылки (если в расшифровке одного термина имеется ссылка на другой).Так, в утвержденных ВТУ и согласованных в августе 1999 г. с Минобразования "Требованиях к программно-педагогическим тестам, тестовым заданиям и технологии компьютерного тестирования" содержатся следующие требования [1]. Требования к программно-педагогическим тестовым заданиям: · содержание тестового задания должно требовать от испытуемого однозначного ответа; · содержание тестового задания должно быть ориентировано на получение ответа только по одной задаче из конкретной области знаний; · следует избегать тестовых заданий, требующих развернутых ответов; · определяющий признак и определяемые термины в тестовом задании должны обозначать одни и те же предметы;Поэтому особое внимание в КОПР должно быть уделено заданиям для самоконтроля и контроля. Так, прямое и единственное назначение контрольных тестов - проверка усвоения знаний студентом по изучаемой дисциплине, в то время как задания для самоконтроля включают в себя и элементы обучения - ведь студенту сообщаются правильные ответы. К достоинствам компьютерной формы тестирования следует отнести: · объективность тестирования - ЭВМ "беспристрастна" при предъявлении тестовых заданий и подсчете результатов их выполнения; · возможность создания таких тестовых заданий, которые не могут быть представлены без компьютера (с использованием графических, динамических, интерактивных и других специфических возможностей представления тестовых заданий на компьютере) Поэтому надо составлять тесты таким образом, чтобы испытуемый не тратил больших усилий и внимания на восприятие вопроса и выбор ответа, и это не влияло бы на показанный результат.В тестах следует выделить следующие возможные формы тестовых заданий [3]: · закрытая (в том числе задания с несколькими вариантами выбора и альтернативные задания); Если в задании представлены только два варианта выбора - "да" и "нет", то такое задание называется альтернативным. Ответ на один вопрос не должен давать ключа к остальным (т. е. не рекомендуется использовать одни и те же варианты ответов в различных заданиях, если они могут навести отвечающего на правильный ответ); Именно поэтому альтернативные задания хотя и достаточно широко применяются в тестировании, но по эффективности уступают заданиям с несколькими вариантами ответов, хотя сконструировать их гораздо проще. Строго говоря [2], задания в открытой форме подразделяются на задания со свободным (т. е. произвольным) ответом и на задания с ограничениями на ответ.Курсы и тесты, подготовленные в программной среде "Униар Билдер 2002", могут работать автономно в режиме Windows-приложений или в виде Java-аплетов, встроенный в HTML-страницу, в том числе в составе Автоматизированной Системы Дистанционного Обучения «ДОЦЕНТ». При работе в составе системы «ДОЦЕНТ» протокол работы тестов записывается в базу данных системы и становится доступным преподавателю. Наличие разных режимов тестирования дает возможность осуществлять как обучение тестируемого, так и контроль его знаний. В зависимости от целей, преследуемых преподавателем: научить решать практические задачи или проверить, в каком объеме студенты освоили пройденный материал - каждому тестирования задается в настройках режим запуска, тем самым преподаватель может регламентировать свободу действий обучаемого, объем разрешенного справочного материала. · В протокол тестирования не записывается: - Время выполнения каждого вопроса - было бы интересно проследить за действиями обучаемого, так как это дает дополнит

СОДЕРЖАНИЕ

ПЕРЕЧЕНЬ СОКРАЩЕНИЙ И СПЕЦИАЛЬНЫХ ТЕРМИНОВ

ВВЕДЕНИЕ

1 ТЕХНОЛОГИЯ СОЗДАНИЯ ОБУЧАЮЩИХ ПРОГРАММ

1.1 Методология подготовки исходных материалов

1.2 Требования к справочной информации

2 ТЕХНОЛОГИЯ СОЗДАНИЯ ТЕСТИРУЮЩИХ ПРОГРАММ

2.1 Требования к тестирующим программам

2.2 Методология подготовки тестовых заданий

2.3 Требования к содержанию тестовых заданий

3 ОБЗОР ПРОГРАММНЫХ СРЕДСТВ

3.1 Средства создания учебных курсов

3.2 Система "Униар Билдер 2002"

4 РАЗРАБОТКА СИСТЕМЫ ТЕСТИРОВАНИЯ

5 ТЕХНОЛОГИЯ ИСПОЛЬЗОВАНИЯ СИСТЕМЫ ТЕСТИРОВАНИЯ

5.1 Руководство по использованию (преподаватель)

5.2 Руководство по использованию (студент)

6 ЭКОНОМИЧЕСКОЕ ОБОСНОВАНИЕ ПРОЕКТА

6.2 План разработки программного продукта

6.3 Определение затрат на разработку программы

6.5 Оценка экономической эффективности внедрения программы

ПЕРЕЧЕНЬ СОКРАЩЕНИЙ И СПЕЦИАЛЬНЫХ ТЕРМИНОВ

ДО - дистанционное обучение.

АС ДО - автоматизированная система дистанционного обучения.

КОПР - компьютерная обучающая программа.

СТ - система тестирования.

Дистанционное обучение - это целенаправленный процесс интерактивного (диалогового), асинхронного или синхронного взаимодействия преподавателя и студентов между собой и со средствами обучения, индифферентный к их расположению в пространстве и времени.

Валидность теста - "комплексная характеристика теста, включающая сведения об области исследуемых явлений и репрезентативности используемой по отношению к ней диагностической процедуры" [3]. Тест можно считать валидным, если он позволяет оценить именно то, для определения чего предназначен (в нашем случае - степень усвоения учебного материала).

Надежность теста - в теории и практике тестирования понятие надежности имеет два значения. Тест считается надежным, если он дает одни и те же показатели для каждого испытуемого при повторном выполнении им данного теста (естественно, при условии, что он не знает или не помнит, правильно или неправильно выполнил каждое из предложенных заданий в первый раз). Такая надежность называется ретестовой. Тест называется также надежным, если он является внутренне согласованным, т. е. результаты выполнения отдельных заданий положительно коррелируют друг с другом и с общим показателем теста.

Дискриминативность теста - способность отдельных его заданий и теста в целом дифференцировать тестируемых относительно максимального и минимального результатов теста [1]. Например, задания, на которые правильно отвечают все студенты, не имеют никакой практической ценности.

Шкалирование результатов тестирования - способ их оценивания и упорядочивания в определенную числовую систему. Шкалирование результатов и группировка их по интервалам необходимы для проведения ряда статистических процедур, которые должны сопутствовать валидидации теста. Речь идет о шкале, в соответствии с которой за правильное решение тестового задания студенту начисляются баллы (в общем случае - в зависимости от сложности задания), которые затем суммируются. При этом вся шкала обоснованным образом разбивается на интервалы. Требуется, чтобы ни в один интервал не попадала большая часть результатов. Частным случаем может являться деление шкалы достижений на интервалы одинаковой ширины.

ВВЕДЕНИЕ

За последние 30 с лишним лет в системах образования развитых стран произошли существенные структурные изменения, обусловленные всесторонним воздействием научно-технического прогресса на жизнедеятельность общества, информационной революцией.

Высшее образование должно быть одинаково доступным для всех на основе способностей каждого. Поскольку получение высшего образования всеми гражданами по традиционной очной форме практически невозможно (этого не выдержат бюджеты даже самых благополучных стран), широкое развитие получили такие формы образования, как вечернее и дистанционное обучение.

Многовековой педагогический опыт учит, что полноценное образование может быть получено лишь при наличии хороших учебно-методических материалов и учебников и общения, или, как сейчас принято говорить, диалога студента и преподавателя.

При вечерней форме обучения на такое общение отведено значительно меньше времени, чем при очной форме, а в случае дистанционного обучения контакт студента с преподавателем вообще сведен к минимуму. По этой причине большое внимание уделяется самостоятельной работе студентов. Закономерно встает вопрос о том, какими должны быть учебные материалы, чтобы обеспечить качественный процесс обучения и скомпенсировать ограниченное общение студента с преподавателем, который вносит в процесс обучения эмоциональную окраску, реализует обратную связь и, при необходимости, может провести корректировку процесса обучения студента.

Решением этой проблемы становится постепенная замена полиграфических изданий на компьютерные средства дистанционного обучения, в состав которых при современном развитии информационных технологий легко внедряются элементы такого диалога.

Кафедра "Математической кибернетики" Московского Авиационного Института уже долгие годы ведет активную и весьма успешную работу в данном направлении, разрабатывая технологию и средства дистанционного обучения.

Так, на кафедре "Математической кибернетики" более 15 лет назад была разработана универсальная инвариантная к дисциплине оболочка “Ракель”, предназначенная для построения электронных учебников. С использованием “Ракель” был разработан целый цикл электронных учебников, сформировавший электронную библиотеку кафедры, которая содержит более 70 учебников по таким дисциплинам как “Теория управления”, “Теория оптимизации”, “Дискретная математика”, “Системный анализ”, “Дифференциальные уравнения”, “Линейная алгебра и аналитическая геометрия” и др.

В последние годы инструментарий кафедры пополнился еще одним универсальным средством создания электронных учебников - программным продуктом TBBUILDER 2. Данная среда позволяет создавать электронные пособия и обучающие курсы по прикладным математическим дисциплинам, содержащие сведения по теории дисциплины, демонстрационные примеры решения типовых задач, модули решения типовых задач с пошаговым контролем правильности решения и контроля знаний. С помощью TBBUILDER 2 был создан, например, электронный учебник по одному из разделов курса "Математический анализ" - "Интегральное исчисление. Неопределенный и определенный интегралы".

Наконец, совсем недавно Центр Открытого Образования МАИ приобрел право лицензионного использования на АС ДО "ДОЦЕНТ", которая представляет собой комплекс высокоэффективных программно-методических средств дистанционного обучения, переподготовки и тестирования слушателей, основанный на сетевых технологиях и современных методиках образования на базе компьютерных обучающих программ и тестирующих систем. Использование этой системы предоставляет возможность создавать обучающие курсы по техническим и гуманитарным дисциплинам. Применение ее в сфере математических дисциплин теоретически обосновано, но примеров практического применения в настоящее время еще не было. Вследствие этого была поставлена задача: 1. Изучив принципы, методы и средства построения компьютерных обучающих программ и проанализировав календарные планы по предмету «Математический анализ» для студентов первого курса факультета экономики и менеджмента, разработать технологию компьютерного тестирования по указанному курсу, принимая во внимание следующие особенности обучению математическим дисциплинам: 1) студенты, приступающие к изучению дисциплины, имеют разную математическую подготовку;

2) при изучении каждой последующей темы требуются знания, полученные при изучении предыдущих тем;

3) решение ряда задач состоит из многих этапов;

4) ответы к практическим задачам содержат математическую символику и инварианты относительно формы записи.

2. Использовать программную среду создания обучающих и тестирующих программ, наиболее точно отвечающую поставленной задаче, и реализовать систему тестирования с учетом разработанной технологии. Функциональное назначение данной системы должно заключаться в обучении навыкам решения задач по курсу "Математический анализ" с последующим контролем полученных знаний.

3. Создаваемая система тестирования должна удовлетворять следующим требованиям: 1) Система должна быть легко настраиваемой и масштабируемой с тем, чтобы ее можно элементы могли служить в качестве и обучающих курсов, и лабораторных и контрольных работ.

2) В качестве тематики задач для тестирования предлагается рассмотреть следующие разделы курса "Математический анализ": - Комплексные числа: определение, алгебраические операции, возведение в степень, извлечение корня, решение уравнений.

- Вычисление пределов функции одной переменной (методы раскрытия основных видов неопределенностей);

- Дифференцирование функции одной переменной (заданных в явной, неявной и параметрических формах);

Для реализации поставленной задачи было использовано средство разработки компьютерных обучающих и контролирующих программ "Униар Билдер 2002", входящее в комплектацию АС ДО "ДОЦЕНТ". Это позволило не только выполнить задачу создание системы тестирования, но и внести определенный вклад в развитие проекта по развитию дистанционного образования "Центра Открытого Обучения" МАИ.

На основании проделанной работы подробно описан процесс разработки технологии и реализации заявленной системы тестирования. Представлено описание готового продукта, инструкция по эксплуатации, расчет экономической эффективности применения системы тестирования и суммарных затрат на ее разработку.