Беглость текста не является доказательством
Самая опасная ошибка ИИ в документации обычно не грамматическая. Это правдоподобное утверждение, которое никто не заметил как неподтверждённое: timeout по умолчанию, несуществующий параметр, обещание совместимости или ссылка не на тот источник.
Считайте сгенерированный текст черновиком с неизвестным происхождением фактов, если процесс не позволяет показать, откуда взялось каждое существенное утверждение.
Классифицируйте утверждения до проверки
Не все предложения одинаково рискованны. Отделяйте факты о поведении продукта, числовые лимиты, команды и конфигурацию от редакционного объяснения. Факт должен приводить к авторитетному источнику: коду, тесту, схеме, утверждённой спецификации, артефакту релиза или названному владельцу.
Общее объяснение проходит обычную редактуру, но не должно незаметно добавлять новые обещания продукта.
Выполняйте то, что можно выполнить
Запускайте команды, валидируйте JSON и YAML, компилируйте примеры кода, проверяйте ссылки. Для API валидируйте payload по контракту и используйте тестовую среду, где это практично. Автоматика не докажет правильность всей статьи, но уберёт большой класс простых ошибок.
Фиксируйте поддерживаемую версию или среду, если результат от них зависит.
Делайте неопределённость видимой
Если источники противоречат друг другу, остановите публикацию. Не просите модель выбрать наиболее правдоподобный ответ. Пометьте неопределённость, найдите владельца и разрешите вопрос как продуктовый.
Особенно это важно для безопасности, биллинга, хранения данных, разрушительных операций и совместимости.
Оставляйте лёгкий след проверки
Не нужен криминалистический отчёт для каждого абзаца. Обычно достаточно списка источников, метаданных ревью и проверяемых примеров. Важно, чтобы другой редактор мог восстановить, почему материал считается верным.
ИИ делает черновики дешёвыми. Поэтому ценность проверки растёт: неподтверждённый текст теперь можно производить быстрее, чем когда-либо.
Практический разбор
Проверьте «Как проверять документацию, написанную с ИИ, до публикации убедительных ошибок» на контролируемой выборке до включения в рабочий процесс. Возьмите десять коротких фрагментов документации, правильное состояние которых вам уже известно: актуальные, устаревшие, неоднозначные и намеренно ошибочные. Дайте модели только разрешённую информацию, не меняйте инструкцию между запусками и фиксируйте не только удачные ответы, но и уверенные ошибки.
Разберите результат как редактор:
- отделяет ли модель факты от предположений;
- сохраняет ли терминологию и ограничения продукта;
- выдумывает ли недостающие сведения или скрывает неопределённость;
- может ли человек увидеть, что именно изменилось и почему.
Важен не вопрос «умеет ли модель писать гладкий текст», а вопрос «делает ли процесс ошибку видимой до публикации». Автоматизация заслуживает доверия, когда её границы, входные данные и точки человеческой проверки можно воспроизвести.
Короткий редакционный чек-лист
- Беглость текста не является доказательством. Самая опасная ошибка ИИ в документации обычно не грамматическая.
- Классифицируйте утверждения до проверки. Не все предложения одинаково рискованны.
- Выполняйте то, что можно выполнить. Запускайте команды, валидируйте JSON и YAML, компилируйте примеры кода, проверяйте ссылки.
- Делайте неопределённость видимой. Если источники противоречат друг другу, остановите публикацию.
