>Чтобы быстро и эффективно развить Alpaca 7B до уровня ChatGPT, авторы проекта пошли на хитрость — они почти полностью автоматизировали процесс обучения своей нейросети при помощи API-инструментов OpenAI. Реализация этого этапа, то есть начального обучения, обошлась в $500 (38,6 тыс. руб.), а еще $100 (7720 руб.) стоило дополнительное «образование», то есть более тонкая настройка языковой модели.

Это называется дистилляцией. Первоначальное обучение GPT-4 было очень дорого. Без него не было бы этой альпаки. Дистилляция - перенос знаний в маленькую сеть. Скорее всего в GPT-4 и  ChatGPT это всё сделано, потому что инферрить гигантскую сеть для каждого запроса пользователя - это infeasible. Разработчики Alpaca скорее всего это поняли, и смогли отдистиллировать их сеть, используя её как чёрный ящик.  А теперь они получать судебный иск в награду за свой ресерч. И суд создаст прецедент. Ибо есть научные статьи, в которых такое называется прямо stealing.