Репетиторам
Как проверять домашние работы по математике с помощью ИИ (и чего ИИ не видит)
Полтора десятка фотографий тетради вечером в воскресенье, каждая перекошена и снята при своём свете. ИИ снимает с этого большую часть арифметической работы — при условии, что вы знаете, чего от него не ждать. Второе в этом тексте важнее.
· Alex
Что ИИ находит хорошо
Всё, что проверяется строчка за строчкой.
Проверка работы по математике на деле состоит из двух разных занятий. Первое механическое: прочитать запись, повторить вычисление, найти строку, где перестало сходиться. Второе учительское: понять, почему ученик свернул именно там, и решить, что с этим делать. С первым языковая модель справляется на удивление хорошо, а второе не может выполнить в принципе.
Отсюда разумное разделение труда: ИИ забирает вычисления и готовит черновик, а вы читаете его так, как читали бы работу ассистента, — исходя из того, что ошибка в нём возможна.
- Чтение записи с фотографии
- Почерк, снимок под углом, клетка — с этим он справляется, если работа резкая и целиком попала в кадр.
- Проверка вычислений
- Пересчёт каждой строки и указание первой, где ответ перестаёт сходиться. Самая скучная часть вечера исчезает целиком.
- Место ошибки, а не только её факт
- «До третьей строки верно, в четвёртой пропадает минус при умножении обеих частей» — вот фраза, которая нужна ученику.
- Предварительные баллы
- Разнесение баллов по задачам по заданным критериям. Именно предварительные — окончательные ставите вы.
- Задачи на то же самое
- Три похожих примера ровно на тот шаг, который не получился. Руками они ищутся по трём сборникам минут пятнадцать.
- Черновик комментария
- Заготовка того, что вы напишете ученику и родителю. Прочитать и поправить — минута вместо десяти.
Чего ИИ не увидит — и это не изменится
Это не список недостатков, которые исправят в следующей версии. Это граница инструмента.
Каждый пункт когда-то стоил мне исправления чужой — то есть машинной — оценки при ученике. У всех общий источник: модель видит лист, а не ученика, и ни на одном занятии с ним не была.
- Что ученик угадал
- Верный ответ при пустой записи в данных выглядит ровно так же, как понятый. Это вы знаете, что две недели назад тот же человек не мог это записать.
- Что работа списана
- У соседа, из решебника, из сети. Модель оценит запись, а не её происхождение — а списанная работа безупречна и этим подозрительна.
- Чего ещё не было на занятиях
- Он предложит решение через формулу, которой ученик не знает, и сочтёт верный обходной путь окольным. Программа класса у вас в голове, а не на фотографии.
- Зачёркиваний и второй попытки
- Перечёркнутая проба рядом с настоящей, столбик на полях, стрелка «дальше на следующей странице» — самый частый источник ошибок распознавания.
- Чертежа, в котором виден ход мысли
- В геометрии половина рассуждения сидит в чертеже и в обозначениях на нём. Модель опишет фигуру, но замысла построения не восстановит.
- Что неделя была тяжёлой
- Болезнь, ссора дома, три контрольные в среду. Та же работа того же ученика на такой неделе значит совсем другое, и решение, что с этим делать, — учительское.
- Ответственности за оценку
- Оценку видят ученик и родитель, а отвечаете за неё вы. Варианта «так посчитал инструмент» здесь нет — есть только то, что вы утвердили.
Фотография: пять вещей, которые решают всё
Одна и та же работа, снятая хорошо и плохо, — это разница между двумя минутами и четвертью часа разбирательств.
Самая частая причина плохой проверки лежит не в модели, а в кадре. Эти пять пунктов имеет смысл один раз отправить ученикам и потом отсылать к ним, пока не войдёт в привычку: у меня на это ушло недели три.
- Вся страница в кадре
- С полями. Обрезанная нижняя строка — самая частая причина вердикта «задача не доделана».
- Прямо сверху
- Телефон параллельно листу, а не под углом. Косой кадр перекашивает дроби и путает нижние индексы со степенями.
- Свет сбоку, а не из-за плеча
- Тень собственной головы на тетради и вспышка по бумаге — два самых надёжных способа сделать запись нечитаемой.
- Длинная запись — одна задача на кадр
- Четыре задачи одним снимком с метра шансов не имеют. Если записи короткие, страницы целиком достаточно.
- Зачёркивать одной чертой
- Замазанная до черноты проба выглядит при распознавании как пятно и способна утащить с собой соседнюю строку. Одной черты хватает.
Эти пять пунктов — единственная инструкция по технике, которую я вообще даю ученикам.
Четыре шага и одно правило
Правило одно, и исключений у него нет: ничто не становится оценкой и ничего не уходит родителю без вашего прочтения. Не потому, что модель слаба, — потому что оценка ваша. В тот день, когда автоматический комментарий мимо сути дойдёт до ученика как оценка, вся эта экономия времени превратится в разговор о доверии.
Шаги по порядку: ученик присылает фотографии; инструмент предлагает баллы и комментарий по каждой задаче; вы читаете это рядом со снимком и правите, что нужно; и только потом работа уходит дальше. Третий шаг — обычно две минуты, а не ноль, и это правильно.
Пока вы не утвердили, ученик должен видеть результат помеченным как предварительный. Если он видит оценку сразу, значит, оценивает инструмент вместо вас, а у вас есть лишь возможность потом это поменять — то есть ровно обратный порядок.
Стоит завести и порог, ниже которого распознаванию не верите: нечитаемая работа, снятая в темноте или наполовину вне кадра, возвращается ученику с просьбой переснять. Проверка того, чего не видно, заканчивается исправлением чужих выводов.
Комментарий к ошибке — три фразы, а не абзац
Хороший комментарий к ошибке состоит из трёх частей: где именно это произошло, в чём состоял неверный шаг и что с этим делать сейчас. «Неверно» — не комментарий; «в четвёртой строке ты умножаешь обе части на знаменатель, но минус остаётся только у первой дроби» — комментарий.
Третью часть модель почти никогда не пишет как надо, потому что не знает, чем вы займётесь на следующей неделе. Это та единственная вещь, которую я обычно дописываю руками, и звучит она обычно так: «сделай ещё две такие же, принеси в четверг».
Не комментируйте каждую мелочь. Работа с семью замечаниями красной ручкой уезжает в ящик независимо от того, справедливы ли замечания. Два пункта на работу, важнейший первым — остальное подождёт занятия.
Что вы, собственно, отправляете модели
Этот вопрос обычно задают поздно — уже после отправки.
Фотография тетради нередко оказывается документом с персональными данными: имя и фамилия на обложке, иногда школа и класс, иногда номер телефона на первой странице. Вы отправляете это во внешний сервис, а родитель об этом не знает, пока вы не скажете.
Минимум, который стоит сделать, короткий: сказать родителю прямо, что работы проверяет инструмент с ИИ, а окончательную оценку ставите вы; кадрировать так, чтобы обложка с фамилией не попадала; проверить в условиях сервиса, не уходят ли ваши данные на обучение модели. Последний пункт занимает пять минут один раз в жизни.
Если ученик несовершеннолетний, такую форму работы вы согласовываете с родителем — это часть вашего договора о занятиях. Это не бумага с подписью: достаточно фразы в разговоре и той же фразы, написанной в сообщении, чтобы от неё осталось подтверждение. Я говорю об этом на первом занятии — вместе с ценой и правилами отмены.
И то, о чём легко забыть: те же правила касаются ваших заметок об ученике. Фраза «дома проблемы», вписанная в инструмент как контекст, где-то сохраняется. Контекст для модели должен быть математическим.
Вопросы, которые задают коллеги
Не обман ли это по отношению к ученику и родителю?
Может ли ИИ просто поставить оценку?
А как с геометрией и задачами с чертежом?
Сколько времени это на самом деле экономит?
Что делать, если модель ошиблась при ученике?
От автора
Я преподаю математику только онлайн, по всей Польше; живу в Гдыне. Список того, чего ИИ не видит, длиннее списка того, что он делает хорошо, и составлялся он в порядке событий: каждый пункт когда-то стоил мне исправления оценки при ученике.
Если у вас есть пункт, которого здесь нет, напишите — допишу с удовольствием, потому что тот список важнее этого.
Alex · репетитор по математике · Гдыня
Панель, в которой этот порядок уже встроен
Korepeta — панель для репетиторов: ученик присылает фотографию, панель предлагает баллы и комментарий по каждой задаче, а ученик видит результат предварительным, пока вы его не утвердите. Тарифы от 40 zł в месяц, пробный доступ — 5 zł за 14 дней.
Посмотреть, как это устроено