Автоматизация процесса оценки выпускных квалификационных работ на основе компетентностного подхода

NovaInfo 85, с.42-54, скачать PDF
Опубликовано
Раздел: Технические науки
Язык: Русский
Просмотров за месяц: 2
CC BY-NC

Аннотация

В данной статье рассмотрены проблемы процесса защиты выпускных квалификационных работ. На основе компетентностно-ориентированного подхода к оцениванию составлено математическое описание оценки за защиту выпускной квалификационной работы, матетематическое описане оценки уровня сформированности компетенций. На основе фонда оценочных средств разработаны алгоритмы оценки выпускных квалификационных работ. Проведены эксперименты по результатам разработки.

Ключевые слова

ГЭК, ВЫПУСКНАЯ КВАЛИФИКАЦИОННАЯ РАБОТА, ВКР, ОЦЕНКА КОМПЕТЕНЦИЙ, ОЦЕНКА ЗА ЗАЩИТУ

Текст научной работы

Современное общество классифицируется как постиндустриальное или информационное, т.е. в котором большинство работающих занято производством, хранением, переработкой и реализацией информации. Производство и хранение информации на бумажных носителях занимает огромное время и трудозатраты. В информационном обществе ключевым фактором выступают информационные технологии, которые охватили практически все сферы жизнедеятельности, автоматизируя их. Автоматизация предполагает полное или частичное освобождение от участия человека в процессах получения, преобразования и использования энергии., материалов, изделий или информации.

Функционирование высшего учебного заведения — это сложный социотехнический процесс, состоящий из большого числа разрозненных подсистем. Одной из таких подсистем является процесс защиты выпускных квалификационных работ. Ввиду введения европейского режима оценивания выступлений студентов с помощью компетентстного подхода значительно усложняет процесс проведения и защиты выпускных квалификационных работ. Оценка уровня компетентности студентов при этом должна объективно показывать степень их знаний, умений и навыков в решении задач из областей будущей профессиональной деятельности [2]. Уровень сформированности компетенций позволяет работодателям принять верное решение при приеме на работу выпускника.

В настоящее время в связи с переходом системы образования на компетентностно-ориентированный подход актуальной является проблема оценивания результатов обучения [1]. Отсюда появляется проблема в заполнении огромного количества протоколов по оценки компетенций студентов. Для хранения информации о работах и о студенте гораздо удобнее хранить информацию в базе данных информационной системы, нежели на бумажных носителях. В процессе выступления студента, члены Государственной экзаменационной комиссии оценивают компетенции подготовки студента, и утеря этих важных документов может повлечь неприятные последствия, как для членов комиссии, так и для студента.

Так же существуют еще несколько немаловажных проблем. Например, затратность по времени во время вычислений. При подсчете средней оценки по критерию и эксперту любой секретарь Государственной экзаменационной комиссии тратит достаточно большое количество времени, разбираясь с большим количеством бумаг и чисел, что также не исключает возможность допущения ошибки при расчетах.

Исходя из выводов целью данной работы является повышение эффективности процедуры защиты ВКР.

Для достижения поставленной цели необходимо решение следующих исследовательских задач:

  1. Математическое описание компетентностного подхода при оценке выпускных квалификационных работ;
  2. Разработка алгоритмов и программная реализация web-ориентированной системы поддержки процесса защиты выпускных квалификационных работ;
  3. Оценка качества веб-интерфейса web-ориентированной системы поддержки процесса защиты выпускных квалификационных работ.

Рассмотрим математическое описание оценки за защиту выпускной квалификационной работы. Оценка подразумевает среднее значение средних оценок по критериям или средних оценок по эксперту (член ГЭК, научный руководитель). В таблице 1 представлено математическое описание расчета оценки за защиту.

Таблица 1. Расчет оценки за ВКР

Эксперты

Критерии

Среднее по эксперту

k1

k2

k3

k4

kq

j1

e_{j_{1}k_{1}}

e_{j_{1}k_{2}}

e_{j_{1}k_{3}}

e_{j_{1}k_{4}}

e_{j_{1}k_{q}}

\overline{S_{j_{1}}}

j2

e_{j_{2}k_{1}}

e_{j_{2}k_{2}}

e_{j_{2}k_{3}}

e_{j_{2}k_{4}}

e_{j_{2}k_{q}}

\overline{S_{j_{2}}}

jm

e_{j_{m}k_{1}}

e_{j_{m}k_{2}}

e_{j_{m}k_{3}}

e_{j_{m}k_{4}}

e_{j_{m}k_{q}}

\overline{S_{j_{m}}}

Среднее по критерию

\overline{S_{k_{1}}}

\overline{S_{k_{2}}}

\overline{S_{k_{3}}}

\overline{S_{k_{4}}}

\overline{S_{k_{q}}}

Итог

j=\overline{1, m} — обозначены эксперты, оценивавшие выступление студента на защите выпускной квалификационной работы, k=\overline{1, n} — обозначены критерии оценивания. Оценка обозначена как e_{j_{m}k_{q}}, где jm и kqm-эксперт и q-критерий оценивания соответственно, оценка допускается в диапазоне e_{j_{m}k_{q}} \in [0;100] .

Средняя оценка по q-критерию рассчитывается как:

\overline{S_{k_{q}}}=\frac{1}{m} \sum\limits_{i=1}^m {e_{j_{i}k_{q}}} (1)

Средняя оценка по m-эксперту рассчитывается как:

\overline{S_{j_{m}}}=\frac{1}{q} \sum\limits_{i=1}^q {e_{j_{m}k_{i}}} (2)

Итоговой оценкой за выступление на защите выпускной квалификационной работы является среднее значение по средним оценкам по каждому критерию или по средним оценкам по каждому эксперту.

Формула нахождения среднего значения по средним:

I=\frac{1}{m} \sum\limits_{i=1}^m {\overline{S_{j_{i}}}} = \frac{1}{q} \sum\limits_{i=1}^q {\overline{S_{k_{i}}}} (3)

Произведем математическое описание оценки уровня сформированности компетенций у студента. Процесс оценки уровня компетенций подразумевает расчет средней суммы оценок, выставленных каждым членом ГЭК по каждому критерию к которому привязана компетенция.

В таблице 2 представлено математическое описание оценки уровня сформированности компетенций.

Таблица 2. Расчет оценки уровня сформированности компетенций

Компетенция

Среднее значение по критерию

Среднее значение по критериям компетенции

С1

\overline{S_{k_{1}}^{C_{1}}}

\overline{G^{C_{1}}}

\overline{S_{k_{2}}^{C_{1}}}

\overline{S_{k_{q}}^{C_{1}}}

С2

\overline{S_{k_{1}}^{C_{2}}}

\overline{G^{C_{2}}}

\overline{S_{k_{2}}^{C_{2}}}

\overline{S_{k_{q}}^{C_{2}}}

Сt

\overline{S_{k_{1}}^{C_{t}}}

\overline{G^{C_{t}}}

\overline{S_{k_{2}}^{C_{t}}}

\overline{S_{k_{q}}^{C_{t}}}

Где C=\overline{1, t} — исходные кометенции, S=\overline{1, n} — средние значения по

критерию. Среднее значение по критерию обозначим как \overline{S_{k_{q}}^{C_{t}}}, где kq соответствует определенному критерию, а Ct — компетенции, к которой привязан критерий. Математическое описание нахождения среднего значения по критерию представлено формулой (4). Уровень сформированности конкретной компетенции соответствует среднему значению по средним значениям по критерию.

Таким образом расчет уровня сформированности компетенции производится формулой:

\overline{G^{C_{t}}}= \frac{1}{q} \sum\limits_{i=1}^q \overline{S_{k_{i}}^{C_{t}}} (4)

Структуру информационной системы можно представить в виде модулей. На рисунке 1 представлена структурная схема информационной системы.

Структурная схема системы.
Рисунок 1. Структурная схема системы

Каждый модуль содержит в себе набор пользовательских функций. В связи с ролью пользователя в системе предоставляется доступ к модулю одноименному с ролью.

Был разработан алгоритм расчета средней оценки по критерию, выставленной за защиту выпускной квалификационной работы. В результате работы данного алгоритма рассчитанные средние оценки по критериям вносятся в строку «среднее значение по критерию», в соответствии с критерием, сводного листа оценок членов ГЭК защиты ВКР студентом. Диаграмма деятельности алгоритма представлена на рисунке 2.

Диаграмма деятельности алгоритма расчета средней оценки по критерию.
Рисунок 2. Диаграмма деятельности алгоритма расчета средней оценки по критерию

Был разработан алгоритм расчета средней оценки по средним оценкам по критериям. В результате работы данного алгоритма средние значения по средним значениям критериев вносятся в сводный лист оценок уровня сформированности компетенций у студента по результатам защиты ВКР. Диаграмма деятельности алгоритма представлена на рисунке 3.

Диаграмма деятельности алгоритма расчета средней оценки по критерию.
Рисунок 3. Диаграмма деятельности алгоритма расчета средней оценки по критерию

Оценка качества пользовательского интерфейса производится в программе CogTool. Данное программное средство позволяет создавать простые прототипы пользовательского интерфейса, а также автоматически оценивать дизайн с помощью прогнозной модели производительности человека («когнитивный манекен»). Проведем оценку пользовательского интерфейса (рисунок 4).

Анализ оценки качества пользовательского интерфейса.
Рисунок 4. Анализ оценки качества пользовательского интерфейса

При оценке качества программного интерфейса проанализированы модуль секретаря ГЭК/заведующего. Проанализировано выполнение следующих задач с имеющимся интерфейсом: авторизация, добавление направления, добавление группы, добавление студента, добавление члена ГЭК, добавление научного руководителя, добавление темы ВКР, назначение темы ВКР студенту, загрузка автореферата по ВКР, добавление компетенции, добавление критерия оценивания, добавление вопросов и печать протоколов по результатам оценки.

Также проанализирован модуль члена ГЭК/научного руководителя. Проанализированы следующие функциональные возможности системы:

  1. Просмотр тем ВКР;
  2. Просмотр авторефератов по ВКР;
  3. Оценка выступлений студентов;
  4. Просмотр уже имеющихся оценок, принадлежащих авторизованному пользователю.

Результаты оценки качества пользовательского интерфейса с помощью прогнозной модели производительности человека представлено на рисунке 10.

Результаты оценки качества пользовательского интерфейса.
Рисунок 5. Результаты оценки качества пользовательского интерфейса

Исходя из результатов можно сказать, что система экономит время всех потенциальных пользователей, от научного руководителя до секретаря ГЭК. Основным преимуществом является хранение необходимых данных в базе данных.

Также по результатам работы был произведен сравнительный анализ программ области студенческого делопроизводства и web-ориентированная ИС поддержки защиты выпускных квалификационных работ (Защита ВКР).

На лепестковой диаграмме отображены интегральные показатели качества каждого программного продукта (рисунок 6).

Лепестковая диаграмма интегральных показателей качества программных продуктов.
Рисунок 6. Лепестковая диаграмма интегральных показателей качества программных продуктов

Лепестковая диаграмма значений характеристик качества функциональных возможностей представлена на рисунке 7.

Лепестковая диаграмма значений характеристик качества функциональных возможностей.
Рисунок 7. Лепестковая диаграмма значений характеристик качества функциональных возможностей

Интегральные показатели разработанной системы превышают базовое значение, следовательно, разработанная система удовлетворяет требованиям.

Проведен эксперимент по сравнению временных затрат на выполнение задач в процессе защиты выпускных квалификационных работ. В эксперименте сопоставлялось время выполнения задач в ручном и автоматизированном (с помощью разработанной web-ориентированной системы поддержки процесса защиты выпускных квалификационных работ) режимах. В таблице 3 представлено время, которое пользователи тратят на задачи связанные с оценкой выступления студента: заполнение оценочного листа, расчет оценки за защиту, оценка уровня сформированности компетенций, заполнение протокола о защите и присвоения степени.

Таблица 3. Задачи, связанные с оценкой

Процесс

Ручной режим, с

Автоматизированный режим, с

1

Заполнение оценочного листа

20

60

2

Расчет оценки за защиту

200

7

3

Оценка уровня сформированности компетенций

360

10

4

Заполнение протокола о защите и присвоения степени

220

30

Итого

800

107

В таблице 4 представлено время, которое пользователи тратят на задачи, связанные с формированием/корректировкой информации, необходимой для проведения оценивания выступления студента: добавление компетенции, добавление критерия, корректировка оценок, корректировка вопросов по выпускной квалификационной работе, корректировка тем.

Таблица 4. Корректировочные задачи

Процесс

Ручной режим, с

Автоматизированный режим, с

1

Добавление компетенции

100

20

2

Добавление критерия

100

20

3

Корректировка оценок

300

30

4

Корректировка вопросов по ВКР

250

20

5

Корректировка тем ВКР

500

30

6

Корректировка информации о пользователях

200

40

Итого

1450

160

Исходя из результатов, представленных в таблицах 3-4 можно сделать вывод, что разработанная web-ориентированная система поддержки процесса защиты выпускных квалификационных работ почти в 8 раз экономит время выполнения задач, связанных с оценкой выступления студента и в 9 раз экономит время выполнения задач, связанных с формированием/корректировкой информации, необходимой для проведения процесса защиты выпускных квалификационных работ.

Вывод

Основные научные положения бакалаврской работы и их практическая реализация предполагают дальнейшее использование на кафедре ВИТ при проведении процесса защиты выпускных квалификационных работ.

В бакалаврской работе получены следующие теоретические и практические результаты:

  1. Проанализированы существующие аналоги системы. Были выявлены их достоинства и недостатки;
  2. Разработаны математические модели, использующиеся при расчете оценок за защиту выпускных квалификационных работ;
  3. Разработаны алгоритмы расчета оценок уровня сформированности компетенций;
  4. Проведены эксперименты по результатам разработанной web-ориентированной информационной системы поддержки процесса защиты выпускных квалификационных работ.

Читайте также

Список литературы

  1. Дворянинова, О.П. Разработка методики оценки компетенций студентов / О.П. Дворянинова, Л.И. Назина, О.С. Никульчева. - Фундаментальные исследования, 2015. № 8-2. С.257-260.
  2. Шамсутдинова, Т.М. Оценка профессиональных компетенций студентов: междисциплинарный аспект (на примере направления подготовки бакалавров «бизнес-информатика») / Т.М. Шамсутдинова, С.В. Прокофьева – Открытое образование, 2014, № 2 С.39-42.

Цитировать

Рыбанов, А.А. Автоматизация процесса оценки выпускных квалификационных работ на основе компетентностного подхода / А.А. Рыбанов, И.И. Кашаев. — Текст : электронный // NovaInfo, 2018. — № 85. — С. 42-54. — URL: https://novainfo.ru/article/15170 (дата обращения: 27.01.2023).

Поделиться