Автоматизация процесса оценки выпускных квалификационных работ на основе компетентностного подхода

Современное общество классифицируется как постиндустриальное или информационное, т.е. в котором большинство работающих занято производством, хранением, переработкой и реализацией информации. Производство и хранение информации на бумажных носителях занимает огромное время и трудозатраты. В информационном обществе ключевым фактором выступают информационные технологии, которые охватили практически все сферы жизнедеятельности, автоматизируя их. Автоматизация предполагает полное или частичное освобождение от участия человека в процессах получения, преобразования и использования энергии., материалов, изделий или информации.

Функционирование высшего учебного заведения — это сложный социотехнический процесс, состоящий из большого числа разрозненных подсистем. Одной из таких подсистем является процесс защиты выпускных квалификационных работ. Ввиду введения европейского режима оценивания выступлений студентов с помощью компетентстного подхода значительно усложняет процесс проведения и защиты выпускных квалификационных работ. Оценка уровня компетентности студентов при этом должна объективно показывать степень их знаний, умений и навыков в решении задач из областей будущей профессиональной деятельности [2]. Уровень сформированности компетенций позволяет работодателям принять верное решение при приеме на работу выпускника.

В настоящее время в связи с переходом системы образования на компетентностно-ориентированный подход актуальной является проблема оценивания результатов обучения [1]. Отсюда появляется проблема в заполнении огромного количества протоколов по оценки компетенций студентов. Для хранения информации о работах и о студенте гораздо удобнее хранить информацию в базе данных информационной системы, нежели на бумажных носителях. В процессе выступления студента, члены Государственной экзаменационной комиссии оценивают компетенции подготовки студента, и утеря этих важных документов может повлечь неприятные последствия, как для членов комиссии, так и для студента.

Так же существуют еще несколько немаловажных проблем. Например, затратность по времени во время вычислений. При подсчете средней оценки по критерию и эксперту любой секретарь Государственной экзаменационной комиссии тратит достаточно большое количество времени, разбираясь с большим количеством бумаг и чисел, что также не исключает возможность допущения ошибки при расчетах.

Исходя из выводов целью данной работы является повышение эффективности процедуры защиты ВКР.

Для достижения поставленной цели необходимо решение следующих исследовательских задач:

1. Математическое описание компетентностного подхода при оценке выпускных квалификационных работ;
2. Разработка алгоритмов и программная реализация web-ориентированной системы поддержки процесса защиты выпускных квалификационных работ;
3. Оценка качества веб-интерфейса web-ориентированной системы поддержки процесса защиты выпускных квалификационных работ.

Рассмотрим математическое описание оценки за защиту выпускной квалификационной работы. Оценка подразумевает среднее значение средних оценок по критериям или средних оценок по эксперту (член ГЭК, научный руководитель). В таблице 1 представлено математическое описание расчета оценки за защиту.

— обозначены эксперты, оценивавшие выступление студента на защите выпускной квалификационной работы, — обозначены критерии оценивания. Оценка обозначена как , где j_m и k_qm-эксперт и q-критерий оценивания соответственно, оценка допускается в диапазоне .

Средняя оценка по q-критерию рассчитывается как:

(1)

Средняя оценка по m-эксперту рассчитывается как:

(2)

Итоговой оценкой за выступление на защите выпускной квалификационной работы является среднее значение по средним оценкам по каждому критерию или по средним оценкам по каждому эксперту.

Формула нахождения среднего значения по средним:

(3)

Произведем математическое описание оценки уровня сформированности компетенций у студента. Процесс оценки уровня компетенций подразумевает расчет средней суммы оценок, выставленных каждым членом ГЭК по каждому критерию к которому привязана компетенция.

В таблице 2 представлено математическое описание оценки уровня сформированности компетенций.

Где — исходные кометенции, — средние значения по

критерию. Среднее значение по критерию обозначим как , где k_q соответствует определенному критерию, а C_t — компетенции, к которой привязан критерий. Математическое описание нахождения среднего значения по критерию представлено формулой (4). Уровень сформированности конкретной компетенции соответствует среднему значению по средним значениям по критерию.

Таким образом расчет уровня сформированности компетенции производится формулой:

(4)

Структуру информационной системы можно представить в виде модулей. На рисунке 1 представлена структурная схема информационной системы.

Каждый модуль содержит в себе набор пользовательских функций. В связи с ролью пользователя в системе предоставляется доступ к модулю одноименному с ролью.

Был разработан алгоритм расчета средней оценки по критерию, выставленной за защиту выпускной квалификационной работы. В результате работы данного алгоритма рассчитанные средние оценки по критериям вносятся в строку «среднее значение по критерию», в соответствии с критерием, сводного листа оценок членов ГЭК защиты ВКР студентом. Диаграмма деятельности алгоритма представлена на рисунке 2.

Был разработан алгоритм расчета средней оценки по средним оценкам по критериям. В результате работы данного алгоритма средние значения по средним значениям критериев вносятся в сводный лист оценок уровня сформированности компетенций у студента по результатам защиты ВКР. Диаграмма деятельности алгоритма представлена на рисунке 3.

Оценка качества пользовательского интерфейса производится в программе CogTool. Данное программное средство позволяет создавать простые прототипы пользовательского интерфейса, а также автоматически оценивать дизайн с помощью прогнозной модели производительности человека («когнитивный манекен»). Проведем оценку пользовательского интерфейса (рисунок 4).

При оценке качества программного интерфейса проанализированы модуль секретаря ГЭК/заведующего. Проанализировано выполнение следующих задач с имеющимся интерфейсом: авторизация, добавление направления, добавление группы, добавление студента, добавление члена ГЭК, добавление научного руководителя, добавление темы ВКР, назначение темы ВКР студенту, загрузка автореферата по ВКР, добавление компетенции, добавление критерия оценивания, добавление вопросов и печать протоколов по результатам оценки.

Также проанализирован модуль члена ГЭК/научного руководителя. Проанализированы следующие функциональные возможности системы:

1. Просмотр тем ВКР;
2. Просмотр авторефератов по ВКР;
3. Оценка выступлений студентов;
4. Просмотр уже имеющихся оценок, принадлежащих авторизованному пользователю.

Результаты оценки качества пользовательского интерфейса с помощью прогнозной модели производительности человека представлено на рисунке 10.

Исходя из результатов можно сказать, что система экономит время всех потенциальных пользователей, от научного руководителя до секретаря ГЭК. Основным преимуществом является хранение необходимых данных в базе данных.

Также по результатам работы был произведен сравнительный анализ программ области студенческого делопроизводства и web-ориентированная ИС поддержки защиты выпускных квалификационных работ (Защита ВКР).

На лепестковой диаграмме отображены интегральные показатели качества каждого программного продукта (рисунок 6).

Лепестковая диаграмма значений характеристик качества функциональных возможностей представлена на рисунке 7.

Интегральные показатели разработанной системы превышают базовое значение, следовательно, разработанная система удовлетворяет требованиям.

Проведен эксперимент по сравнению временных затрат на выполнение задач в процессе защиты выпускных квалификационных работ. В эксперименте сопоставлялось время выполнения задач в ручном и автоматизированном (с помощью разработанной web-ориентированной системы поддержки процесса защиты выпускных квалификационных работ) режимах. В таблице 3 представлено время, которое пользователи тратят на задачи связанные с оценкой выступления студента: заполнение оценочного листа, расчет оценки за защиту, оценка уровня сформированности компетенций, заполнение протокола о защите и присвоения степени.

В таблице 4 представлено время, которое пользователи тратят на задачи, связанные с формированием/корректировкой информации, необходимой для проведения оценивания выступления студента: добавление компетенции, добавление критерия, корректировка оценок, корректировка вопросов по выпускной квалификационной работе, корректировка тем.

Исходя из результатов, представленных в таблицах 3-4 можно сделать вывод, что разработанная web-ориентированная система поддержки процесса защиты выпускных квалификационных работ почти в 8 раз экономит время выполнения задач, связанных с оценкой выступления студента и в 9 раз экономит время выполнения задач, связанных с формированием/корректировкой информации, необходимой для проведения процесса защиты выпускных квалификационных работ.

Вывод

Основные научные положения бакалаврской работы и их практическая реализация предполагают дальнейшее использование на кафедре ВИТ при проведении процесса защиты выпускных квалификационных работ.

В бакалаврской работе получены следующие теоретические и практические результаты:

1. Проанализированы существующие аналоги системы. Были выявлены их достоинства и недостатки;
2. Разработаны математические модели, использующиеся при расчете оценок за защиту выпускных квалификационных работ;
3. Разработаны алгоритмы расчета оценок уровня сформированности компетенций;
4. Проведены эксперименты по результатам разработанной web-ориентированной информационной системы поддержки процесса защиты выпускных квалификационных работ.