Исходное сообщение
"Представлена новая открытая система синтеза изображений Stab..." Отправлено iLex, 17-Авг-22 01:14
Большинство нейронок сейчас оформлено в виде т.н. "исследовательского кода". Это настолько кривые наколеночные поделки, что по сравнению с ними даже индусский код выглядит прямо шедевром софтостроения. Вот взять для примера ruDALL-E от Сбера. После выкладывания на Github им первым же коммитом увеличили скорость генерации изображений примерно в 10 раз, просто закэшировав выхлоп Attention-блоков. А уж как "замечательно" сделана загрузка моделей во всех этих Tensorflow... СНАЧАЛА инциализируется пустая нейронка - с выделением памяти, построением всех слоёв и даже записью неких начальных весов. Потом отдельно(!) в память грузятся веса (x2 к пиковому потреблению памяти), затем эти веса начинают копироваться в слои нейронки и память освобождается. В итоге на этапе загрузки памяти требуется вдвое больше, чем для работы. И вот там всё такое. Я уж молчу о том, что там везде дичайшее дублирование кода. Та же ruDALL-E использует pytorch и Tensorflow ОДНОВРЕМЕННО, при том что эти громадные фреймворки делают одно и то же. Это хорошо ещё сберовцы про Jax не знали, а то бы они и его туда ещё запихнули для комплекта. Опенсорсная DALL-E mini поначалу тоже требовала 16 Гб VRAM для генерации, однако потом код доработали и начало запускаться на 6 Гб. Так что там можно реально даже не в разы, а в десятки раз снижать потребление RAM и повышать скорость, если пару дней посидеть над кодом. Вот только всем плевать, потому как это игрушки корпоратов, а им проще ещё пару кластеров на 200 GPU подключить, чем тратить время на написание нормального кода.

Ваше сообщение
Имя*:
EMail:	Для отправки ответов на email укажите знак ! перед адресом, например, !user@host.ru (!! - не показывать email). Более тонкая настройка отправки ответов производится в профиле зарегистрированного участника форума.
Заголовок*:
Сообщение*:
	Введите код, изображенный на картинке: