> Вы просто не понимаете, что это целый комплекс мер.На мой вкус - сперва извольте ответить на вон тот простой вопрос, как вы вообще на ващих EXT'ах узнавали что данные не побились - а потом будете щеки надувать. Поставить фирмачей на дохреналион, надув щеки, ума много не надо. А вот сделать "недорого и круто" - это и есть state of art.
> Распределённые структуры очень медленно ворочаются как на запись,
Вообще ниоткуда не следует. В энных допущениях может быть ограничено только каналом writer'а по сути.
> так и менее - на чтение,
Тоже ниоткуда не следует. Там можно параллелить запросы и проч - и в предельном случае это может забить любой канал. Характерным примером является допустим торент. Да, это специфично, но общие идеи чем это может быть при правильном подходе - иллюстрирует. Попробуйте перефлудить сидеров исошки убунты вообще. Они круче любого CDN. Вот гугл какие-то такие моменты - понял.
> а при отказах имеют свойство ворочаться ещё медленнее, потому
> что начинается тот самый процесс восстановления.
Это могут быть вполне прозрачные и ненапряжные процессы, а основной деградеж перфоманса - потому что число серверов отгружающих вот именно эти блоки тем кто их хотел временно просело а нагрузка - нет.
> А при отказе большего, чем ожидалось, числа нод - могут лечь совсем
> до ручного вмешательства. У гугла сервисных нод очень много, но пренебрегать
> их надёжностью они при этом не рискуют.
У гугла серверов не много а очень много. И failure rate примерно одинаковый, чего ему резко меняться. И избыточность разумеется его покрывает с запасом. А чтоб мануально - или видимо юзерам? Ну вот не припоминаю каких-то ощутимых сбоев основных сервисов гугли в последнее время.
> А вот на кеш (который пишется исключительно с сервисных нод и далее работает
> в режиме read-mostly) - ставят хлам, да.
Там может и не быть такого деления. От задач зависит. Из хлама можно и всю структуру сделать, единственная трабла - несколько чаще заменять серваки. Ну вон торентовщики - могут любой мусор использовать. Для вас все просто: хеш блока или совпал и тогда все ок, или нет, и тот кто его налил идет в баню (или "маркируется как проблемный сервер" в тех терминах). Какой мусор вам налил блок в этой парадигме вообще не интересно. И "writer"-у в виде initial seeder тоже похрен какой мусор что использует. Круто, да? А таки верификация больших даунлоадов - сильно круче любых HTTP и проч. Те кто поумнее поняли что сравнимые технологии и для иного IO можно практиковать.
> И если вы считаете, что из хлама можно собрать космический корабль -
> ну вот да, Луна-25 - примерно ваш уровень.
Мой уровень на вон тот манер выглядел бы иначе - стайка дронов. Даже если половина развалится и сломается, остальная половина успешно завершит миссию, достроив базу или что там. А не так что 1 супер-дорогой агрегат, а если он сломался то плана вообще нет.
И это... ширпотребный квалкомм с линухом довольно долго рассекал на марсе в виде вертолетика. Я даже со счета сбился, помер он совсем или до сих пор живой. И так то - вот - первый летательный аппарат на другой планете, даром что из ширпотреба.
