Исходное сообщение
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..." Отправлено Аноним, 23-Фев-23 11:36
> При выполнении модели OPT-175B на системе с одним GPU NVIDIA T4 (16ГБ) Это полный бред. Для 175B требуется минимум 350GB VRAM. Даже если делать CPU offloading, то всё равно нужно будет около 500GB обычной RAM и инференция будет со скоростью 1 токен в день. Даже в README на GitHub написано: > Chat with OPT-6.7B. You need at least 15GB of GPU memory Т.е. 15GB VRAM - это чисто на 6.7B. Ни о каких 175B тут даже и думать не стоит. Для примера: я на своей RTX3060 12GB еле-еле со скрипом могу запустить 13B модели со скоростью 1 токен в 1.5 секунды, да и то я там применяю всякие трюки типа INT8 precision, чтобы снизить потребление VRAM.

Ваше сообщение
Имя*:
EMail:	Для отправки ответов на email укажите знак ! перед адресом, например, !user@host.ru (!! - не показывать email). Более тонкая настройка отправки ответов производится в профиле зарегистрированного участника форума.
Заголовок*:
Сообщение*:
	Введите код, изображенный на картинке: