Меркулова О.П. Проблемы оценивания учебного процесса студентами
Рассмотрен ряд проблем, решение которых необходимо при внедрении
механизмов реализации требования ФГОС ВПО о предоставлении обучающимся
возможности оценивания содержания, организации и качества учебного
процесса: подлежащие оцениванию уровни организации образовательного
процесса, определение содержания опроса, выбор форм, методов и методик
его проведения, способы участия студентов и др. Анализ основан как на
отечественном, так и на зарубежном опыте.
Ключевые слова: оценивание учебного процесса, обратная связь от студентов, цикл оценивания, опрос, качество образования Ссылка для цитирования:
Меркулова О.П. Проблемы оценивания учебного процесса студентами // Высшее образование в России. 2012. № 2. С. 18-24
Введенные в действие ФГОС ВПО содержат в разделе «Оценка качества освоения основных образовательных программ» наряду с другими следующее требование: «Обучающимся должна быть предоставлена возможность оценивания содержания, организации и качества учебного процесса в целом, а также работы отдельных преподавателей». Распространение идей Болонского процесса, внедрение в вузах систем менеджмента качества, а также демографический спад, который привел к конкуренции не только абитуриентов в борьбе за возможность поступления в вуз, но и вузов в борьбе за абитуриентов, подготовили почву для того, чтобы это требование могло быть принято в академической среде вузов. В тоже время, оценивание студентами качества получаемого образования пока еще не стало естественным и необходимым элементом вузовской практики. Во многом будущее подобных оценочных процедур определяется именно сейчас в процессе проектирования и внедрения основных образовательных программ, разработанных на основе стандартов нового поколения. В силу этого весьма актуальным является обсуждение возможностей и ограничений различных подходов к организации оценивания студентами образовательного процесса с опорой на зарубежный и отечественный опыт, которому и посвящена данная статья.
Если в западных вузах обратная связь от студентов была редкостью до 80-х годов прошлого века [1], то в отечественной высшей школе, такая ситуация сохранялась не менее, чем до середины первого десятилетия этого века. Результаты обратной связи, полученной от студентов, как правило, могут быть использованы в двух направлениях: для совершенствования образовательного процесса в вузе и для представления информации внешним заинтересованным сторонам, включая потенциальных абитуриентов и подготовку отчетности [Там же]. Первая из этих возможностей представляется более важной, так как формальная ориентация на отчеты и без того избыточна в отечественной образовательной практике (см. например, [2]). В тоже время, результаты обратной связи, ориентированной на усовершенствования, как правило, могут быть использованы и для внешних отчетов. Поэтому в дальнейшем изложении основное внимание будет уделено организации оценивания образовательного процесса студентами, основной целью которого являются улучшения в образовании, а не представление отчетности.
Зарубежный опыт организации обратной связи от студентов достаточно разнообразен. Не имея возможности анализировать его детально, отметим только две существенные тенденции. С одной стороны, активно развивается практика независимых систем опроса студентов о различных сторонах удовлетворенности обучением в вузе. Например, в Великобритании с 2005 года проводятся национальные опросы студентов (National Student Survey), в которых участвует значительное число вузов – в 2011 году были представлены результаты для более чем 330 вузов, причем с каждым годом их число увеличивается [3]. В отношении же отечественного высшего и дополнительного образования по результатам исследования гарантий качества, признаваемых заинтересованными сторонами, отмечается, что «институт общественного признания или подтверждения гарантий качества независимой третьей стороной пока еще не является осознанной реальностью для потребителя образовательных услуг» [4, С. 26]. Второй значимой тенденцией является организация обратной связи, которая касается какой-либо конкретной стороны образовательного процесса в отдельно взятом вузе. Например, на сайте университета Glamorgan (Великобритания) представлены отчеты обратной связи от студентов о деятельности сервисов информационного обслуживания в форме «Вы сказали, мы говорим…» – в них собраны замечания и пожелания студентов, к каждому из которых дан ответ о планируемых улучшениях или разъяснение по поводу тех возможностей, которые уже существуют, но не в полной мере используются студентами [5].
При организации обратной связи от студентов возможна достаточно широкая вариативность как содержания, так и форм проведения опросов, способов их включения в образовательную и управленческую деятельность. Выбор уровня организации обратной связи (вуз в целом, факультет, отдельные предметы), объектов и переменных оценивания, формы опроса (устный индивидуальный, фокус-групповой, бланковый, компьютеризованный) и его периодичности, вида вопросов (открытые, закрытые, с оценочными шкалами), а также способов интеграции опросов в образовательный процесс и управление им зависят от многих особенностей образовательной системы. Далее будут рассмотрены некоторые вопросы и альтернативы, которые явно или неявно должны быть решены при определении того, каким именно образом будет реализовано в рамках конкретной основной образовательной программы требование ФГОС о предоставлении обучающимся возможности «оценивания содержания, организации и качества учебного процесса в целом, а также работы отдельных преподавателей». Представленные результаты основаны как на более чем 10-летнем опыте организации такой работы в Волгоградском государственном социально-педагогическом университете ([6], [7] и др.), так и на анализе отечественных и зарубежных публикаций, многочисленных обсуждений в академической среде.
Какие уровни организации образовательного процесса будут подлежать оцениванию? Получение обратной связи от студентов может осуществляться на разных уровнях организации образовательного процесса. На уровне вуза или факультета в целом оцениванию могут подвергаться достаточно общие показатели: ресурсы и условия обучения, организация образовательного процесса и система оценивания в целом, профессиональное и личностное развитие, поддержка со стороны персонала (преподавателей и сотрудников вуза) и т.п. На уровне изучения отдельных дисциплин или модулей может производиться оценивание по более конкретным критериям, относящимся непосредственно к обучению. Требование оценивания содержания образования и работы отдельных преподавателей подразумевает, что в оценочные процедуры должен быть, как минимум, включен уровень образовательной программы и/или преподавания отдельных дисциплин. Что не исключает оценивания других аспектов организации учебного процесса.
Необходимым условием, при котором обратная связь от студентов может быть использована для совершенствования образования, является цикличность деятельности, в которую она включается ([1], [6], [8] и др.). Структурирование такого цикла возможно через выделение более или менее дробных этапов, но в любом случае он должен включать сбор данных о мнениях студентов, их анализ, обсуждение результатов, поиск путей совершенствования и внесение изменений в деятельность с выходом на новый цикл оценивания и изменений.
Для каждого уровня организации образовательного процесса, который включается в оценочные процедуры, должен быть построен отдельный цикл оценивания и совершенствования деятельности. Остальные вопросы, которые будут рассмотрены далее, имеет смысл решать в отношении каждого такого цикла отдельно.
Какое содержание (объекты и переменные оценивания) будет включено в опрос? Для обоснованного ответа на этот вопрос необходимо определение, с одной стороны, наиболее важных показателей качества образования, связанных с удовлетворенностью студентов, а с другой — возможных областей для усовершенствования. Объектами оценивания могут выступать учебный план, отдельные изучаемые дисциплины, расписание занятий, информационные ресурсы и другие элементы образовательного процесса. Через переменные должны быть определены те отдельные характеристики выбранных объектов, в отношении которых студентам будет предложено произвести оценивание. Например, если модульная система преподавания введена в образовательном процессе в экспериментальном режиме, то целесообразность ее использования может быть включена в опрос как переменная, относящаяся к образовательному процессу в целом. Если же такая система действует, и вопрос об отказе от нее не рассматривается руководством вуза, то в опрос могут быть включены отдельные параметры организации образовательного процесса как переменные, относящиеся к объекту оценивания «модульная система». Какие формы и методы опроса будут использованы? Наиболее распространенным и достаточно простым является анкетирование в традиционной бланковой форме. Менее популярными являются индивидуальные и групповые интервью, что связано с трудоемкостью их проведения, относительной сложностью анализа и описания результатов, а также с более высокими требованиями к компетентности ведущих. В тоже время потенциал устных обсуждений для поиска путей совершенствования образовательного процесса несравнимо выше, чем письменных опросов. Наиболее перспективным в будущем, вероятно, является опрос, организуемый посредством сетевых компьютерных технологий, так как он позволяет соединить многие плюсы письменной и устной коммуникации, а также открывает ряд дополнительных возможностей.
Компьютеризация опросов студентов – задача достаточно сложная не столько с технической, сколько с организационной и психологической точек зрения. Так, бланковый опрос позволяет достаточно успешно решать такие проблемы как массовый охват студентов и сохранение анонимности ответов за счет возможности его фронтального проведения в аудитории во время или после занятий. Получить аналогичные результаты при компьютеризованном опросе вряд ли получится. Размещение опросных форм в свободном доступе не дает никаких гарантий достоверности результатов. При авторизованном доступе к системе опроса возможен контроль выборки, однако, в этом случае вероятны искажения оценок в сторону их социальной желательности за счет того, что студенты не будут уверены в конфиденциальности. Преодоление этого ограничения требует, с одной стороны, широкого использования разного рода систем авторизованного доступа в учебной деятельности, а, с другой — атмосферы сотрудничества и ориентации на поиск путей усовершенствования в образовательном сообществе вуза (факультета).
Для принятия решений об улучшениях в образовательном процессе наряду с количественными показателями, по которым можно выявить наиболее проблемные зоны и оценить динамику изменений, часто бывает необходимо получение дополнительных качественных данных, помогающих выяснить причины проблем и возможные пути их разрешения. Например, снижение в целом по факультету удовлетворенности студентов обеспеченностью литературой еще ничего не говорит о конкретных причинах, повлиявших на эту тенденцию, и не дает оснований для поиска путей совершенствования. Причинами изменения отношения студентов к данному вопросу могут быть: устаревание литературы, изменения в программах учебных дисциплин, более высокие ожидания студентов в изменяющейся культурной среде и многое другое. Без выяснения конкретных причин снижения удовлетворенности, трудно найти адекватные меры для улучшения ситуации. Поэтому наиболее оптимальным может являться последовательное применение стандартизованных бланковых опросников (в бумажной или электронной форме) для выяснения общих тенденции, а затем – обсуждений в устной или компьютерно опосредованной форме.
Использовать готовые опросники или разработать свои? Разработка любого диагностического инструментария требует, с одной стороны, соответствующей квалификации, с другой — времени. Наскоро или непрофессионально разработанный опросник может не только не дать достаточной и достоверной информации для последующего анализа, но и снизить доверие к организаторам опроса. Использование готовых опросников может быть более оправданным, если привлечение к их составлению квалифицированных специалистов затруднено, а также в тех ситуациях, когда возможны и предполагаются сравнения с внеорганизационным контекстом: средними нормами, полученными на достаточно представительных и сопоставимых с данным вузом выборках, результатами аналогичных опросов, проводимых в других вузах (на других факультетах) и др. В остальных случаях, скорее всего, более оправданной будет разработка собственного опросника, наиболее точно соответствующего целями и содержанию опроса. Какие виды вопросов выбрать? Устный опрос в любом случае подразумевает возможность свободного высказывания мнений, однако, и в этом случае следует решить, будет ли проводиться интервью или фокус-группа с большей или меньшей степенью структурированности. Так, если планируется групповое обсуждение по результатам письменного опроса, то вопросы могут быть более конкретны, например: «В каких именно методических кабинетах не всегда доступны необходимые материалы?», «Будет ли эффективным для повышения осведомленности студентов о возможностях участия в научной работе размещение дополнительной информации на сайте вуза?». Если же фокус-группа направлена на выявление наиболее важных с точки зрения студентов проблем, то вопросы могут носить более общий характер — например: «Какие сложности при освоении отдельных дисциплин возникали у вас в прошедшем семестре?».
В письменных (включая компьютеризованные) опросах возможно использование открытых, закрытых и вопросов с оценочными шкалами. Часто используемые в социологических опросах закрытые вопросы с набором альтернативных вариантов ответа, с нашей точки зрения, могут быть ограниченно использованы в организации обратной связи от студентов. Это связано с тем, что получаемые результаты в таком случае достаточно сложно обобщать или сопоставлять по группе вопросов.
Наиболее целесообразным представляется использование вопросов с оценочными шкалами, которые могут выражать разную степень согласия (если оценочная характеристика задана в самом вопросе) или удовлетворенности (если в вопросе указано содержание переменной, для которой возможна оценка удовлетворенности). В интерпретации полученных результатов важно учитывать не только удовлетворенность студентов теми или иными аспектами образовательного процесса, но их значимость. Для учета фактора субъективной значимости какого-либо показателя возможно использование оценочной шкалы, по которой каждая переменная оценивается с точки зрения удовлетворенности (крайне не удовлетворяет, не удовлетворяет, нормально, удовлетворяет, высоко удовлетворяет) и значимости (не значимо, значимо, очень значимо) [1, С. 8].
Другим способом учета мнений не только о действительном, но и предпочитаемом положении дел является использование оценочных шкал, по которым проводится оценивание реальных и желательных представлений о тех аспектах образовательного процесса, которые включены в содержание опроса. Такой прием был использован нами в методике оценки качества мероприятий студенческих психологических школ [9], методике дифференцированной оценки образов реального и желательного образования [10]. Степень расхождения между желательным и реальным образом показывает удовлетворенность оцениваемыми аспектами образовательного процесса. Помимо этого использование такой методики позволяет выявлять содержательные характеристики представлений о реальном и желательном образовании, их согласованность или противоречивость внутри какой-либо группы или между группами. Так, если разным студентам присущи противоположные ожидания в отношении получаемого образования, то какими бы ни было условия обучения, всегда найдутся те, кто ими не удовлетворен. Повышение удовлетворенности в этом случае возможно за счет изменений в ожиданиях, которые могут быть достигнуты в процессе целенаправленных обсуждений. Сплошной или выборочный опрос? Для достоверности результатов опроса с социологической точки зрения нет необходимости привлечения к опросу всех студентов, которых он касается – достаточно ограничиться репрезентативной выборкой. Если опрос ориентирован на предоставление информации заинтересованным сторонам, то возможен и такой подход. Индивидуальные результаты нескольких человек при использовании шкальных оценок и при достаточном объеме выборки не могут значительно повлиять на общие тенденции. И поэтому с точки зрения анализа средней тенденции опрос может быть построен на выборочном принципе. Однако, если студентам предоставляется возможность ответить на открытые вопросы, должно быть важно мнение каждого отвечающего, так как в любом ответе может оказаться ценная идея или оригинальное предложение по улучшениям.
Еще одним аргументом за сплошной опрос является то, что помимо организации обратной связи как таковой, участие студентов в оценивании образовательного процесса демонстрирует значимость их мнений для руководства и преподавателей, их возможность влиять на происходящее в вузе. При соблюдении еще ряда условий это может служить условием активизации субъектной позиции студентов. К таким условиям, в первую очередь, следует отнести реализацию полного цикла оценивания – улучшений, а не только получения обратной связи как таковой; ориентацию на согласование позиций, требований, мнений всех заинтересованных сторон; четкость и согласованность представлений о разделении ответственности и др. Таким образом, если основная цель опроса связана с поиском путей совершенствования, то желательно предоставить всем студентам возможность принять участие в опросе.
Кто организует проведение опроса? Работа по подготовке и проведению опросов, анализу их результатов является достаточно трудоемкой. В отечественной практике вузовского образования такой вид работы не является пока традиционным, а значит, нет и каких-то сложившихся подходов к его организации. Одним из самых простых для руководства вуза решений может быть перекладывание ответственности за это на преподавателей. Очевидно, что такой подход может привести к улучшениям в деятельности, прежде всего, тех преподавателей, которые и без того ориентированы на совершенствование, при формальной отчетности остальных.
Опыт показывает, что оценивание преподавания отдельных дисциплин оптимальнее всего инициировать на уровне декана или руководителя образовательной программы, а организацию опроса поручать достаточно компетентному сотруднику (преподавателю, методисту, специалисту психологической службы и т.п.), знакомому с ситуацией на факультете, но способному занять независимую позицию посредника между руководителем, преподавателями и студентами. При оценивании организации образовательного процесса в целом инициатором опроса может быть ректор или проректор по учебной работе, а проводить его — относительно независимая структура вуза – служба качества, психологическая или социологическая служба. При оценивании условий обучения в вузе для сравнения с внеорганизационным контекстом, наиболее оправданным может быть проведение опросов независимыми экспертными организациями.
Подобные схемы обеспечивают возможность сопоставления результатов в более широком контексте. Позиционирование конкретного вуза, факультета, предмета в ряду других аналогичных объектов оценивания позволяет более точно определять сильные стороны и возможности для улучшения. В тоже время, чрезвычайно важным условием использования результатов опросов для совершенствования деятельности является заинтересованность всех вовлеченных сторон в получении объективной информации. Такая позиция возможна, только если ситуация неуспеха рассматривается как повод не для «наказания виновных», а для изменений в деятельности и того, чья работа оценивается, и вышестоящих руководителей.
Более подробно многие вопросы организации опросов студентов были рассмотрены в других публикациях автора, в том числе в пособии [11]. С переходом вузов на новые образовательные стандарты возникает необходимость широкомасштабного внедрения практики таких опросов. От того, каким образом пройдет это внедрение, какие модели и подходы будут приняты в вузах, будет во многом зависеть, станет ли такая форма взаимодействия преподавателей и студентов органичным и необходимым элементом образовательного процесса или привет к очередной волне формализма и бюрократии.
Литература
1. Harvey L. Student Feedback Quality in Higher Education, Vol. 9, No. 1, April 2003. P. 3 – 20.
2. Форрат Н.В. Проблема качества высшего образования: мировые вызовы и их российские трансформации // Вопросы образования. 2009. № 2. С. 121–138.
3. Higher Education Funding Council for England. Learning & teaching. .2011 Teaching Quality Information data. URL: http://hefce.ac.uk/learning/nss/data/2011.
4. Аниськина Н.Н., Белкова Е.А. Признание качества образовательных услуг в свете реформы профессионального образования // Вестн. Академии Пастухова. 2008. № 1. С. 25–29.
5. University of Glamorgan. Learning and Corporate Support Services. LRC feedback Spring 2011. URL: http://lcss.glam.ac.uk/feedback.
6. Клычева Е.В., Меркулова О.П. Обеспечение качества образовательного процесса (уровень факультета): Науч.-метод. материалы. Волгоград: Перемена, 2000.
7. Управление качеством подготовки специалистов в высшей школе: теория и практика: кол. монография / Е. И. Сахарчук, О. П. Меркулова, О. В. Науменко и др.; науч. ред. Н. К. Сергеев. Волгоград: изд-во ВГПУ «Перемена», 2008.
8. Kane D., Williams J., Cappuccini-Ansfield, G. Student Satisfaction Surveys: The Value in Taking an Historical Perspective // Quality in Higher Education, Vol. 14, No. 2, July 2008. P. 135 – 155.
9. Меркулова О.П., Ивушкина Н.Ю. Качество студенческих психологических школ: методика организации обратной связи // Вопросы психологии. 2009. № 5. С. 150–160.
10. Меркулова О.П. Субъективные показатели качества высшего профессионального образования // Психология образования в XXI веке: теория и практика : материалы Междунар. науч.-практ. конф. Волгоград, 14–16 сент. 2011 г. / под ред. Т.Ю. Андрущенко, А.Г. Крицкого, О.П. Меркуловой (к 80-летию ВГСПУ). – Волгоград : Изд-во ВГСПУ «Перемена», 2011. С. 446–450.
MERKULOVA O. PROBLEMS OF STUDENTS EVALUATION OF THE EDUCATIONAL PROCESS
It is reviewed some problems that should be solved during implementation the mechanisms of realization the requirements of the Federal State Educational Standard of Higher Education to provide students opportunities evaluation content, organization and quality of the educational process: the valued levels of the educational process, definition of the content the survey, choice of forms, methods and techniques for its, ways to participate of students etc. The analysis is based on both the domestic and the foreign experience.
Key words: evaluation of the educational process, students feedback, evaluation cycle, survey, quality of education
Меню сайта