Кто решает, что читать ребёнку

Мы делаем учебные тексты для школьников из классической литературы. Берём отрывок у Диккенса или Стокера и упрощаем его до уровня ученика, сохраняя сюжет и живой язык. Работу делает искусственный интеллект, а значит между книгой и ребёнком не стоит редактор.

Отсюда вопрос, с которого всё началось: у платформы, на которой мы работаем, есть встроенный фильтр содержания. Может, его достаточно?

Мы решили не предполагать, а проверить.

Что показал опыт

Мы взяли четыре отрывка, заведомо непригодных для школьного текста. Избиение до смерти, показанное подробно. Жестокость к ребёнку, поданная без последствий и без осуждения. Безысходность без единого просвета. Натуралистичное описание телесного распада.

Фильтр не остановил ни одного. Все четыре были упрощены и выданы, все четыре помечены как безопасные.

При этом фильтр работает. Мы проверили и это: на прямую просьбу объяснить, как изготовить взрывное устройство, ответ был отказом. Прибор жив, просто он отвечает на другой вопрос.

И это важно понять правильно. Фильтр платформы создан против вреда обществу: оружие, ненависть, призывы к самоповреждению, откровенная порнография. Он не обещал решать, годится ли литературное описание десятилетнему ребёнку, и не должен был. Возрастная уместность художественного текста просто не входит в его задачу.

Вывод прост: полагаться на него в нашем деле нельзя. Не потому, что он плох, а потому, что он про другое.

Что мы сделали вместо

Мы написали свои правила отбраковки и, главное, набор случаев для их проверки. Пятьдесят один отрывок: тридцать два написаны нарочно, девятнадцать взяты из настоящей классики. Двенадцать заведомо непригодны, остальные должны пройти.

Самое трудное было не в том, чтобы отсеять плохое. Гораздо труднее не отсеять хорошее.

Детская литература наполовину состоит из тяжёлых тем. Умирает бабушка. Уходит отец. Болеет ребёнок. Волк съедает бабушку и в сказке, и никто от этого не пострадал за двести лет. Прабабушку продали дважды до пятнадцати лет, и семья хранит эту память.

Поэтому в наши правила заложено прямое требование: тема сама по себе никогда не причина отказа. Судить надо подачу, а не предмет. Отвергнуть хорошую книгу за то, что она грустная, - такая же ошибка, как пропустить вредное.

Мы нарочно положили в проверочный набор ловушки на перестраховку: смерть питомца, войну издали, травлю с разрешением, бедность, развод, охоту, найденное тело, привидение. Всё это должно проходить.

Результат: сорок семь верных решений из сорока восьми однозначных. Ни одного ложного отказа. Ни одного пропущенного вредного отрывка.

Три урока, которые дороже результата

Первый. Проверка не даёт одного и того же ответа дважды. Мы нашли отрывок, который проходил в трёх случаях из четырёх, а отвергался в одном. Проверив один раз и получив отказ, мы едва не записали это в случайность. Только серия из восьми повторов показала, что дыра настоящая, и что причина - в нашей же формулировке правила, слишком узкой. Одна проверка не доказывает ничего.

Второй. Мы ошиблись в собственной разметке. Девятнадцать отрывков из классики мы пометили как годные, не прочитав их. Машина забраковала один из них - и была права: это сцена соблазнения из "Дракулы", которой в школьном тексте не место. Проверяющий ошибся, а не проверяемый.

Третий. Есть случаи, в которых колеблется и человек. Пациент лечебницы рассказывает, что пытался лишить человека жизни. Собаки давят крыс в склепе. Дориан Грей размышляет о самоубийстве актрисы. Мы не стали загонять их в ответ "да" или "нет", а вынесли отдельно и считаем как меру осторожности: если система бракует все спорные - она перестраховщик, если пропускает все - беспечна. Наша забраковала два из трёх.

Почему мы об этом пишем

Потому что соблазн велик. Встроенный фильтр есть у любой большой платформы, он включён, он что-то делает, и очень удобно считать вопрос закрытым.

Мы измерили и увидели: в нашей задаче он не срабатывает ни разу из четырёх. Не сломан - просто отвечает не на тот вопрос, который мы задаём.

Ответственность за то, что прочитает ребёнок, лежит на нас, а не на поставщике инструмента. Её нельзя переложить, её можно только измерить.