Роботы наступают - Страница 51

Разумеется, в идее использовать компьютеры для оценки тестов нет ничего нового: уже многие годы они занимаются простейшей задачей оценки тестов с несколькими вариантами выбора. В этом контексте они рассматриваются как средство снижения трудоемкости. Однако стоит лишь алгоритмам покуситься на область, которая, по всеобщему мнению, в значительной степени зависит от человеческих навыков, включая способность выносить суждения, как тут же многие преподаватели начинают видеть в технологиях угрозу. В основе машинных технологий оценки эссе лежат передовые средства искусственного интеллекта; основная стратегия, используемая при оценке студенческих эссе, во многом схожа с методологией, реализованной в онлайн-переводчике Google. Сначала в алгоритмы машинного обучения загружается большое количество образцов с оценками, выставленными преподавателями-людьми. Затем алгоритмы применяются при оценке новых студенческих эссе; при этом они выдают результат практически мгновенно.

Авторы петиции, безусловно, правы в том, что участвующие в оценивании машины «не умеют читать». Однако, как мы уже видели на примере других случаев применения больших данных и технологий машинного обучения, это не имеет никакого значения. Методы, основанные на анализе статистических корреляций, очень часто не уступают лучшим экспертам или даже превосходят их по эффективности. Например, в 2012 г. сотрудники Педагогического колледжа Университета Акрона провели исследование, в ходе которого сравнили результаты работы машин с оценками, поставленными преподавателями. Выяснилось, что применение машинных технологий позволило «добиться практического такого же уровня точности и при этом в некоторых случаях ПО оказалось даже надежнее». В исследовании приняли участие девять компаний, занимающихся разработкой решений для автоматизации оценивания, в нем было использовано свыше 16 000 студенческих эссе с проставленными оценками из государственных школ шести штатов США.

Одним из самых ярых противников машинного оценивания и одним из инициаторов протестной петиции 2013 г. является Лес Перельман, бывший директор программы обучения письменной речи в МIT. Перельману удалось ввести в заблуждение алгоритмы оценивания с помощью нескольких абсурдных эссе, некоторые из которых заслужили высокую оценку машин. Однако, по моему мнению, навыки, требуемые для составления бессмысленных текстов специально для того, чтобы обмануть ПО, в общем и целом сравнимы с навыками, необходимыми для написания логически выстроенного эссе. Это противоречит выводу Перельмана о том, что систему легко обмануть. На самом деле следовало бы задаться вопросом: а способен ли студент, который не владеет развитыми навыками письменной речи, обмануть ПО, используемое для оценивания? Исследование специалистов из Университета Акрона показывает, что это невозможно. Впрочем, одна из поднимаемых Перельманом проблем заслуживает внимания: опасение, что в будущем студентов будут учить так, чтобы их работы нравились алгоритмам, которые, по его мнению, «дают студентам непропорционально много баллов за длинные и вычурные высказывания».

Несмотря на все споры, у алгоритмического оценивания есть все шансы стать главным методом в школах, которые продолжают искать способы сокращения издержек. Этот подход имеет неоспоримые преимущества в ситуациях, когда требуется оценить большое количество эссе. И дело не только в скорости и низкой стоимости: алгоритмический подход обеспечивает такой уровень объективности и надежности, единственной альтернативой которому в случае с преподавателями-людьми является привлечение нескольких проверяющих. Например, многие языковые курсы предполагают ежедневное ведение дневника; при использовании алгоритма для оценки любой записи и, возможно, даже получения рекомендаций по улучшению текста будет достаточно простого щелчка мыши. Представляется разумным предположить, что автоматизированное оценивание — по крайней мере в ближайшем будущем — будет применяться во вводных курсах, посвященных базовым навыкам. Вряд ли преподающим английский профессорам стоит бояться вторжения алгоритмов в работу семинаров по писательскому мастерству для хорошо подготовленных студентов. При этом внедрение алгоритмов в рамках вводных курсов может привести к вытеснению ассистентов-преподавателей, выполняющих сейчас рутинную работу по оцениванию текстов.

Шумиха вокруг вопроса о привлечении роботов к оцениванию эссе представляет собой лишь небольшой пример ответной реакции, которая, несомненно, не заставит себя ждать, когда набирающий обороты рост информационных технологий в полной мере скажется на сфере образования. Значительное увеличение производительности, которое изменило до неузнаваемости многие отрасли, пока практически не коснулось колледжей и университетов. Преимущества информационных технологий до сих пор не нашли применения в высших учебных заведениях. Этим — по крайней мере отчасти — объясняется стремительный рост стоимости обучения в течение последних десятилетий.

Есть веские основания полагать, что в скором времени все будет по-другому. Одним из главных проводников изменений, конечно же, станут онлайн-курсы, которые ведут в Интернете преподаватели элитных учебных заведений. Нередко такие курсы привлекают огромное количество желающих, а значит, им суждено стать важным фактором распространения автоматизированных подходов к преподаванию и оцениванию. В начале 2013 г. консорциум элитных университетов edX, созданный с целью продвижения бесплатных онлайн-курсов, объявил о том, что он готов бесплатно предоставить ПО для оценивания эссе любому образовательному учреждению, которое обратиться к нему с соответствующим запросом. Другими словами, алгоритмические системы оценивания стали еще одним примером доступного через Интернет тиражируемого ПО, которое будет способствовать ускорению неизбежного процесса автоматизации квалифицированного труда.