Исходное сообщение
"Выпуск системной библиотеки Glibc 2.33" Отправлено Ordu, 02-Фев-21 23:28
Что ты имеешь в виду под "засанитайзить"? Простейшая валидация сводится к тому, чтобы разбить поток байт на char'ы таким образом, чтобы: а. если старший первого байта 0, то это однобайтовый чар б. если старшие биты первого байта 10, то это двухбайтовый чар, и следующий байт должен иметь 10 в старших двух битах в. если старшие биты первого байта 110, то это трёхбайтовый чар, и следующие 2 байта должны иметь 10 в старших двух битах г. если старшие биты первого байта 1110, то это четырёхбайтовый чар, и следующие 3 байта должны иметь 10 в старших двух битах. д. если мы добрались до сюда, значит пора запускать процесс обработки ошибки InvalidUTF8. Все "стандартные буковки" попадают в пункт (а), и они не будут затронуты, потому как старший бит у них 0. По идее, в любой строковой библиотеке работающей с юникодом такая валидация должна быть, и сводится к вызову функции. Это гарантирует валидность кодирования, но какие-то из чаров прошедших таким образом проверку могут быть неопределены. Если тебе это важно, то надо таскать с собой таблички валидных чаров, и по ним ещё проверять. Если же тебе хочется справляться с ошибками, то заменяй все байты, которые не удалось декодировать на '?', и всё. Будет по-уродски, но тут всё просто: нефиг инвалидный utf8 пихать в программу, и не будет уродства.