Перейти к содержимому
Korepeta
Меню

Репетиторам

Как проверять домашние работы по математике с помощью ИИ (и чего ИИ не видит)

Полтора десятка фотографий тетради вечером в воскресенье, каждая перекошена и снята при своём свете. ИИ снимает с этого большую часть арифметической работы — при условии, что вы знаете, чего от него не ждать. Второе в этом тексте важнее.

· Alex

Что ИИ находит хорошо

Всё, что проверяется строчка за строчкой.

Проверка работы по математике на деле состоит из двух разных занятий. Первое механическое: прочитать запись, повторить вычисление, найти строку, где перестало сходиться. Второе учительское: понять, почему ученик свернул именно там, и решить, что с этим делать. С первым языковая модель справляется на удивление хорошо, а второе не может выполнить в принципе.

Отсюда разумное разделение труда: ИИ забирает вычисления и готовит черновик, а вы читаете его так, как читали бы работу ассистента, — исходя из того, что ошибка в нём возможна.

Это действительно работает
Чтение записи с фотографии
Почерк, снимок под углом, клетка — с этим он справляется, если работа резкая и целиком попала в кадр.
Проверка вычислений
Пересчёт каждой строки и указание первой, где ответ перестаёт сходиться. Самая скучная часть вечера исчезает целиком.
Место ошибки, а не только её факт
«До третьей строки верно, в четвёртой пропадает минус при умножении обеих частей» — вот фраза, которая нужна ученику.
Предварительные баллы
Разнесение баллов по задачам по заданным критериям. Именно предварительные — окончательные ставите вы.
Задачи на то же самое
Три похожих примера ровно на тот шаг, который не получился. Руками они ищутся по трём сборникам минут пятнадцать.
Черновик комментария
Заготовка того, что вы напишете ученику и родителю. Прочитать и поправить — минута вместо десяти.

Чего ИИ не увидит — и это не изменится

Это не список недостатков, которые исправят в следующей версии. Это граница инструмента.

Каждый пункт когда-то стоил мне исправления чужой — то есть машинной — оценки при ученике. У всех общий источник: модель видит лист, а не ученика, и ни на одном занятии с ним не была.

Этого он не увидит
Что ученик угадал
Верный ответ при пустой записи в данных выглядит ровно так же, как понятый. Это вы знаете, что две недели назад тот же человек не мог это записать.
Что работа списана
У соседа, из решебника, из сети. Модель оценит запись, а не её происхождение — а списанная работа безупречна и этим подозрительна.
Чего ещё не было на занятиях
Он предложит решение через формулу, которой ученик не знает, и сочтёт верный обходной путь окольным. Программа класса у вас в голове, а не на фотографии.
Зачёркиваний и второй попытки
Перечёркнутая проба рядом с настоящей, столбик на полях, стрелка «дальше на следующей странице» — самый частый источник ошибок распознавания.
Чертежа, в котором виден ход мысли
В геометрии половина рассуждения сидит в чертеже и в обозначениях на нём. Модель опишет фигуру, но замысла построения не восстановит.
Что неделя была тяжёлой
Болезнь, ссора дома, три контрольные в среду. Та же работа того же ученика на такой неделе значит совсем другое, и решение, что с этим делать, — учительское.
Ответственности за оценку
Оценку видят ученик и родитель, а отвечаете за неё вы. Варианта «так посчитал инструмент» здесь нет — есть только то, что вы утвердили.

Фотография: пять вещей, которые решают всё

Одна и та же работа, снятая хорошо и плохо, — это разница между двумя минутами и четвертью часа разбирательств.

Самая частая причина плохой проверки лежит не в модели, а в кадре. Эти пять пунктов имеет смысл один раз отправить ученикам и потом отсылать к ним, пока не войдёт в привычку: у меня на это ушло недели три.

Инструкция ученику
Вся страница в кадре
С полями. Обрезанная нижняя строка — самая частая причина вердикта «задача не доделана».
Прямо сверху
Телефон параллельно листу, а не под углом. Косой кадр перекашивает дроби и путает нижние индексы со степенями.
Свет сбоку, а не из-за плеча
Тень собственной головы на тетради и вспышка по бумаге — два самых надёжных способа сделать запись нечитаемой.
Длинная запись — одна задача на кадр
Четыре задачи одним снимком с метра шансов не имеют. Если записи короткие, страницы целиком достаточно.
Зачёркивать одной чертой
Замазанная до черноты проба выглядит при распознавании как пятно и способна утащить с собой соседнюю строку. Одной черты хватает.

Эти пять пунктов — единственная инструкция по технике, которую я вообще даю ученикам.

Четыре шага и одно правило

Правило одно, и исключений у него нет: ничто не становится оценкой и ничего не уходит родителю без вашего прочтения. Не потому, что модель слаба, — потому что оценка ваша. В тот день, когда автоматический комментарий мимо сути дойдёт до ученика как оценка, вся эта экономия времени превратится в разговор о доверии.

Шаги по порядку: ученик присылает фотографии; инструмент предлагает баллы и комментарий по каждой задаче; вы читаете это рядом со снимком и правите, что нужно; и только потом работа уходит дальше. Третий шаг — обычно две минуты, а не ноль, и это правильно.

Пока вы не утвердили, ученик должен видеть результат помеченным как предварительный. Если он видит оценку сразу, значит, оценивает инструмент вместо вас, а у вас есть лишь возможность потом это поменять — то есть ровно обратный порядок.

Стоит завести и порог, ниже которого распознаванию не верите: нечитаемая работа, снятая в темноте или наполовину вне кадра, возвращается ученику с просьбой переснять. Проверка того, чего не видно, заканчивается исправлением чужих выводов.

Комментарий к ошибке — три фразы, а не абзац

Хороший комментарий к ошибке состоит из трёх частей: где именно это произошло, в чём состоял неверный шаг и что с этим делать сейчас. «Неверно» — не комментарий; «в четвёртой строке ты умножаешь обе части на знаменатель, но минус остаётся только у первой дроби» — комментарий.

Третью часть модель почти никогда не пишет как надо, потому что не знает, чем вы займётесь на следующей неделе. Это та единственная вещь, которую я обычно дописываю руками, и звучит она обычно так: «сделай ещё две такие же, принеси в четверг».

Не комментируйте каждую мелочь. Работа с семью замечаниями красной ручкой уезжает в ящик независимо от того, справедливы ли замечания. Два пункта на работу, важнейший первым — остальное подождёт занятия.

Что вы, собственно, отправляете модели

Этот вопрос обычно задают поздно — уже после отправки.

Фотография тетради нередко оказывается документом с персональными данными: имя и фамилия на обложке, иногда школа и класс, иногда номер телефона на первой странице. Вы отправляете это во внешний сервис, а родитель об этом не знает, пока вы не скажете.

Минимум, который стоит сделать, короткий: сказать родителю прямо, что работы проверяет инструмент с ИИ, а окончательную оценку ставите вы; кадрировать так, чтобы обложка с фамилией не попадала; проверить в условиях сервиса, не уходят ли ваши данные на обучение модели. Последний пункт занимает пять минут один раз в жизни.

Если ученик несовершеннолетний, такую форму работы вы согласовываете с родителем — это часть вашего договора о занятиях. Это не бумага с подписью: достаточно фразы в разговоре и той же фразы, написанной в сообщении, чтобы от неё осталось подтверждение. Я говорю об этом на первом занятии — вместе с ценой и правилами отмены.

И то, о чём легко забыть: те же правила касаются ваших заметок об ученике. Фраза «дома проблемы», вписанная в инструмент как контекст, где-то сохраняется. Контекст для модели должен быть математическим.

Вопросы, которые задают коллеги

Не обман ли это по отношению к ученику и родителю?
Был бы обманом, если бы вы делали вид, что проверяете всё вручную. Сказанное прямо — «вычисления проверяет инструмент, оценку и комментарий делаю я» — не вызывает возражений ни у кого. На практике родители скорее спрашивают, почему у других этого нет.
Может ли ИИ просто поставить оценку?
Технически да, и это худший способ использовать такой инструмент. Оценка без человека на другом конце означает, что первая же ошибка модели уходит прямо родителю, а вы узнаёте о ней из претензии.
А как с геометрией и задачами с чертежом?
Здесь слабее всего, и я держу это как область для ручной проверки. Вычисления в геометрической задаче он проверит, а смысл построения и то, что ученик хотел показать, обычно не восстановит.
Сколько времени это на самом деле экономит?
У меня на двенадцати учениках примерно из двух часов в неделю получается минут сорок — и это другие сорок минут, потому что я читаю готовые комментарии, а не считаю всё с нуля. На ноль рассчитывать не стоит: шаг «прочитай и поправь» остаётся навсегда.
Что делать, если модель ошиблась при ученике?
Исправить и сказать, что она ошиблась. Ученики воспринимают это совершенно спокойно и заодно получают очень наглядный урок о том, как обращаться с ответами ИИ в интернете: проверять, а не верить.

От автора

Я преподаю математику только онлайн, по всей Польше; живу в Гдыне. Список того, чего ИИ не видит, длиннее списка того, что он делает хорошо, и составлялся он в порядке событий: каждый пункт когда-то стоил мне исправления оценки при ученике.

Если у вас есть пункт, которого здесь нет, напишите — допишу с удовольствием, потому что тот список важнее этого.

Alex · репетитор по математике · Гдыня

Панель, в которой этот порядок уже встроен

Korepeta — панель для репетиторов: ученик присылает фотографию, панель предлагает баллы и комментарий по каждой задаче, а ученик видит результат предварительным, пока вы его не утвердите. Тарифы от 40 zł в месяц, пробный доступ — 5 zł за 14 дней.

Посмотреть, как это устроено