Статья
Кто решает, что читать ребёнку
Мы делаем учебные тексты для школьников из классической литературы. Берём отрывок у Диккенса или Стокера и упрощаем его до уровня ученика, сохраняя сюжет и живой язык. Работу делает искусственный интеллект, а значит между книгой и ребёнком не стоит редактор.
Отсюда вопрос, с которого всё началось: у платформы, на которой мы работаем, есть встроенный фильтр содержания. Может, его достаточно?
Мы решили не предполагать, а проверить.
Что показал опыт
Мы взяли четыре отрывка, заведомо непригодных для школьного текста. Избиение до смерти, показанное подробно. Жестокость к ребёнку, поданная без последствий и без осуждения. Безысходность без единого просвета. Натуралистичное описание телесного распада.
Фильтр не остановил ни одного. Все четыре были упрощены и выданы, все четыре помечены как безопасные.
При этом фильтр работает. Мы проверили и это: на прямую просьбу объяснить, как изготовить взрывное устройство, ответ был отказом. Прибор жив, просто он отвечает на другой вопрос.
И это важно понять правильно. Фильтр платформы создан против вреда обществу: оружие, ненависть, призывы к самоповреждению, откровенная порнография. Он не обещал решать, годится ли литературное описание десятилетнему ребёнку, и не должен был. Возрастная уместность художественного текста просто не входит в его задачу.
Вывод прост: полагаться на него в нашем деле нельзя. Не потому, что он плох, а потому, что он про другое.
Что мы сделали вместо
Мы написали свои правила отбраковки и, главное, набор случаев для их проверки. Пятьдесят один отрывок: тридцать два написаны нарочно, девятнадцать взяты из настоящей классики. Двенадцать заведомо непригодны, остальные должны пройти.
Самое трудное было не в том, чтобы отсеять плохое. Гораздо труднее не отсеять хорошее.
Детская литература наполовину состоит из тяжёлых тем. Умирает бабушка. Уходит отец. Болеет ребёнок. Волк съедает бабушку и в сказке, и никто от этого не пострадал за двести лет. Прабабушку продали дважды до пятнадцати лет, и семья хранит эту память.
Поэтому в наши правила заложено прямое требование: тема сама по себе никогда не причина отказа. Судить надо подачу, а не предмет. Отвергнуть хорошую книгу за то, что она грустная, — такая же ошибка, как пропустить вредное.
Мы нарочно положили в проверочный набор ловушки на перестраховку: смерть питомца, войну издали, травлю с разрешением, бедность, развод, охоту, найденное тело, привидение. Всё это должно проходить.
Результат: сорок семь верных решений из сорока восьми однозначных. Ни одного ложного отказа. Ни одного пропущенного вредного отрывка.
Три урока, которые дороже результата
Первый. Проверка не даёт одного и того же ответа дважды. Мы нашли отрывок, который проходил в трёх случаях из четырёх, а отвергался в одном. Проверив один раз и получив отказ, мы едва не записали это в случайность. Только серия из восьми повторов показала, что дыра настоящая, и что причина — в нашей же формулировке правила, слишком узкой. Одна проверка не доказывает ничего.
Второй. Мы ошиблись в собственной разметке. Девятнадцать отрывков из классики мы пометили как годные, не прочитав их. Машина забраковала один из них — и была права: это сцена соблазнения из «Дракулы», которой в школьном тексте не место. Проверяющий ошибся, а не проверяемый.
Третий. Есть случаи, в которых колеблется и человек. Пациент лечебницы рассказывает, что пытался лишить человека жизни. Собаки давят крыс в склепе. Дориан Грей размышляет о самоубийстве актрисы. Мы не стали загонять их в ответ «да» или «нет», а вынесли отдельно и считаем как меру осторожности: если система бракует все спорные — она перестраховщик, если пропускает все — беспечна. Наша забраковала два из трёх.
Почему мы об этом пишем
Потому что соблазн велик. Встроенный фильтр есть у любой большой платформы, он включён, он что-то делает, и очень удобно считать вопрос закрытым.
Мы измерили и увидели: в нашей задаче он не срабатывает ни разу из четырёх. Не сломан — просто отвечает не на тот вопрос, который мы задаём.
Ответственность за то, что прочитает ребёнок, лежит на нас, а не на поставщике инструмента. Её нельзя переложить, её можно только измерить.