Исходное сообщение
"Mozilla запустила проект Mozilla.ai для развития открытых си..." Отправлено Аноним, 23-Мрт-23 12:31
>Чтобы быстро и эффективно развить Alpaca 7B до уровня ChatGPT, авторы проекта пошли на хитрость — они почти полностью автоматизировали процесс обучения своей нейросети при помощи API-инструментов OpenAI. Реализация этого этапа, то есть начального обучения, обошлась в $500 (38,6 тыс. руб.), а еще $100 (7720 руб.) стоило дополнительное «образование», то есть более тонкая настройка языковой модели. Это называется дистилляцией. Первоначальное обучение GPT-4 было очень дорого. Без него не было бы этой альпаки. Дистилляция - перенос знаний в маленькую сеть. Скорее всего в GPT-4 и  ChatGPT это всё сделано, потому что инферрить гигантскую сеть для каждого запроса пользователя - это infeasible. Разработчики Alpaca скорее всего это поняли, и смогли отдистиллировать их сеть, используя её как чёрный ящик.  А теперь они получать судебный иск в награду за свой ресерч. И суд создаст прецедент. Ибо есть научные статьи, в которых такое называется прямо stealing.

Ваше сообщение
Имя*:
EMail:	Для отправки ответов на email укажите знак ! перед адресом, например, !user@host.ru (!! - не показывать email). Более тонкая настройка отправки ответов производится в профиле зарегистрированного участника форума.
Заголовок*:
Сообщение*:	>>Чтобы быстро и эффективно развить Alpaca 7B до уровня ChatGPT, авторы проекта пошли на хитрость — они почти полностью автоматизировали процесс обучения своей нейросети при помощи API-инструментов OpenAI. Реализация этого этапа, то есть начального обучения, обошлась в $500 (38,6 тыс. руб.), а еще $100 (7720 руб.) стоило дополнительное «образование», то есть более тонкая настройка языковой модели. > Это называется дистилляцией. Первоначальное обучение GPT-4 было очень дорого. Без него > не было бы этой альпаки. Дистилляция - перенос знаний в маленькую > сеть. Скорее всего в GPT-4 и ChatGPT это всё сделано, > потому что инферрить гигантскую сеть для каждого запроса пользователя - это > infeasible. Разработчики Alpaca скорее всего это поняли, и смогли отдистиллировать их > сеть, используя её как чёрный ящик. А теперь они получать > судебный иск в награду за свой ресерч. И суд создаст прецедент. > Ибо есть научные статьи, в которых такое называется прямо stealing.
	Введите код, изображенный на картинке: