Подсчет рейтинга преподавателей является важным процессом для ВУЗа. Именно поэтому были рассмотрены системы республиканского института инновационных технологий Белорусского национального технического университета и Марийского государственного университета, система «Кафедра», программа «Рейтинг студента», балльно-рейтинговая система.
Разработанная на кафедре «Информационные системы в экономике» информационно-аналитическая система (ИАС) «Кафедра» позволяет автоматизировать выполнение части функций кафедры, касающихся управленческой, учебно-организационной и методической деятельности.
ИАС «Кафедра» — это мощный и эффективный программный продукт, который позволяет автоматизировать деятельность кафедр вуза, ввести их в единое информационное пространство, обеспечить взаимосвязь между собой и другими системами.
Система «Кафедра» объединяет в себе некоторые функции деканата в части ведения базы об успеваемости студентов и формирования учебных поручений от факультетов.
Инфомационно-аналитическая система «Кафедра» представлена на рис.1
Программа «Рейтинг студента» позволяет учитывать при расчете рейтинга студента не только успеваемость, но и посещаемость занятий и производственной практики; участие в научных работах (научных конференциях, олимпиадах разного масштаба); общественно — полезном труде (субботники); занятость в общественной жизни университета; участие в спортивных мероприятиях.
Программа «Рейтинг студента» представлена на рис. 2
Балльно-рейтинговая система является одной из современных технологий. Она активно используется в менеджменте качества образовательных услуг. Система балльно-рейтинговой оценки знаний является базовым инструментом оценки работы студента в процессе учебно-производственной, научной, внеучебной деятельности и определения рейтинга выпускника на выходе.
Балльно-рейтинговая система представлена на рис. 3
По мнению создателей системы республиканского института, инновационных технологий Белорусского национального технического университета, автоматизированная система должна обеспечивать актуальный и оперативный сбор и осуществление интегральной оценки деятельности преподавателя осуществлять постоянный мониторинг текущего рейтинга преподавателя и по итогам за учебный год. В основе системы — табличные данных, структурированные в соответствии с категориями, а также шкала баллов пользователей.
Количество таблиц, их конкретное наполнение и балл за выполнение показателя устанавливается в начале года и может в дальнейшем изменятся. При необходимости в таблицу включают весовые коэффициенты по каждому показателю, что не требует внесения изменения в алгоритм программы.
Автоматизация оценки рейтинга персонала университета представлена на рис. 4
Система "Рейтинговой оценки деятельности преподавателя Марийского государственного университета" предназначена для комплексной сравнительной оценки деятельности преподавателей Марийского государственного университета как внутри конкретной кафедры, так и по конкретным должностям или в целом по всему университету. Оценка деятельности преподавателей ведется по 325 показателям, каждый из которых имеет свой балл. Список учитываемых показателей и их весовая ценность приведена в "Положении о рейтинговой оценке деятельности преподавателя Марийского государственного университета".
Рейтинговая оценка деятельности преподавателя МарГУ представлена на рис. 5
В качестве критериев для сравнительного анализа программных продуктов, выбраны следующие критерии [4]:
A1 — сведения личного характера;
A2 — сведения о публикациях;
A3 — сведения о нагрузке;
A4 — сведения о хозяйственно-договорной деятельности;
A5 — сведения об учебно-методической деятельности.
Для определения весов критериев использована аналитическая иерархическая процедура Саати [1-4]. Правила заполнения матрицы парных сравнений представлены в таблице 1.
Xij | Значение |
1 | i-ый и j-ый критерий примерно равноценны |
3 | i-ый критерий немного предпочтительнее j-го |
5 | i-ый критерий предпочтительнее j-го |
7 | i-ый критерий значительно предпочтительнее j-го |
9 | i-ый критерий явно предпочтительнее j-го |
Матрица парных сравнений, средние геометрические и веса критериев представлены в таблице 2.
A1 | A2 | A3 | A4 | A5 | Среднее геометрическое | Веса критериев | |
A1 | 1 | 1/5 | 1/5 | 1/3 | 1/7 | 0,29 | 0,05 |
A2 | 5 | 1 | 1/3 | 1/3 | 1 | 0,89 | 0,14 |
A3 | 5 | 3 | 1 | 1 | 3 | 2,14 | 0,35 |
A4 | 3 | 3 | 1 | 1 | 3 | 1,93 | 0,31 |
A5 | 7 | 1 | 1/3 | 1/3 | 1 | 0,95 | 0,15 |
Сумма | 6,20 | 1 | |||||
Диаграмма весовых коэффициентов [3] для критериев A1, A2, A3, A4, A5 представлена на рис. 6
Выполним проверку матрицы попарных сравнений на непротиворечивость.
Суммы столбцов матрицы парных сравнений:
R1=21; R2=8,2; R3=2,86; R4=3; R5=8,14.
Путем суммирования произведений сумм столбцов матрицы на весовые коэффициенты альтернатив рассчитывается вспомогательная величина L = 5,32. Индексом согласованности .
Величина случайной согласованности для размерности матрицы парных сравнений: S=1.12.
Отношение согласованности . не превышает 0.2, поэтому уточнение матрицы парных сравнений не требуется.
Используя полученные коэффициенты, определим интегральный показатель качества для программных продуктов расчета метрических характеристик и оценки сложности баз данных (БД):
- Автоматизация оценки рейтинга персонала университета;
- Рейтинговая оценка деятельности преподавателя;
- Балльно-рейтинговая система;
- Программа «Рейтинг студента»;
- Система «Кафедра».
Выберем категориальную шкалу от 0 до 7 (где 0 — качество не удовлетворительно, 7 — предельно достижимый уровень качества на современном этапе) для функциональных возможностей программных продуктов.
Значения весовых коэффициентов [3] ai соответствующие функциональным возможностям продуктов:
- Автоматизация оценки рейтинга персонала университета a1=0,05;
- Рейтинговая оценка деятельности преподавателя a2=0,14;
- Балльно-рейтинговая система a3=0,35;
- Программа «Рейтинг студента» a4=0,31;
- Система «Кафедра» a5=0,15.
где .
Определим (по введенной шкале) количественные значения функциональных возможностей Xij(таблица 3). Вычислим интегральный показатель качества для каждого программного продукта.
Критерии | Весовые коэф-ты | Программные продукты | Базовые значения | ||||
Автоматизация оценки рейтинга персонала университета | Рейтинговая оценка деятельности преподавателя МарГУ | Балльно-рейтинговая система | Программа «Рейтинг студента» | Система «Кафедра» | |||
a1 | 0,05 | 5 | 6 | 5 | 6 | 7 | 5,6 |
a2 | 0,14 | 6 | 5 | 4 | 4 | 6 | 4,8 |
a3 | 0,35 | 6 | 6 | 6 | 6 | 6 | 5,8 |
a4 | 0,31 | 5 | 5 | 2 | 4 | 4 | 4,2 |
a5 | 0,15 | 5 | 5 | 0 | 0 | 5 | 2,8 |
Интегр. показ-ль качества Q | 5,49 | 5,39 | 3,5 | 4,17 | 5,27 | 4,6 | |
где интегральный показатель качества для j-го программного средства.
Построим лепестковую диаграмму интегрального показателя качества каждого программного продукта (рис. 7).
Лепестковая диаграмма значений характеристик качества функциональных возможностей (критериев) представлена на рисунке 8.
Сравнительный анализ [1-4] программных продуктов для построения рейтинга показал, что только система «Кафедра», Рейтинговая оценка деятельности преподавателя Марийского государственного университета и Автоматизация оценки рейтинга персонала университета из пяти рассмотренных программных средств имеют значения интегрального показателя качества, превышающего базовое значение. Предлагаемая методика экспертной оценки позволяет определить не только направления дальнейшего совершенствования программного продукта, но и количественно оценить его качество с точки зрения уровня реализуемых функций. Критерии сведения о хозяйственно-договорной деятельности и сведения о нагрузке, имеющие наибольший вес в данных системах на неудовлетворительном уровне, поэтому необходимо разработать систему, восполняющую эту проблему.