Исходное сообщение
"Первый выпуск инструмента llamafile от Mozilla" Отправлено morphe, 01-Дек-23 12:45
> Это Micro$oft виновата - все либы слинкованы статически А я не в этом смысле жирный говорю. В ONNX есть огромная библиотека функций, все из которых нужно собирать себе в программу для подгрузки ONNX моделей, его не сделать менее жирным вынесением protobuf и прочего. > Ну возможность инферить на GPU - это жирный плюс Не везде это полезно, многие модели не влезут в consumer-grade GPU, а для остальных моделей инференс на процессоре зачастую быстрее, поскольку копирование данных CPU->GPU занимает больше времени чем сам инференс. > Возможность легко интегрировать в свои программы на любом ЯП - это жирный плюс. Ровно как и FFI. ONNX позволяет быстрее довести модель от прототипа до прода, но не всегда эффективнее. Для эффективности всё таки проще реализовать оптимизированную модель руками в коде, и грузить только веса.