Исходное сообщение
"Первый выпуск инструмента llamafile от Mozilla" Отправлено morphe, 01-Дек-23 22:48
> Не факт, что один человек может руками оптимизировать модель лучше, чем автоматический оптимизатор и JIT-компилятор, вылизанный командой специалистов ведущей ИИ-корпорации. Как только модель готова - оптимизированная версия пишется достаточно просто > Это всё части рантайма, который устанавливается один раз и используется ваеми программами совместно. Очень редко на конечном компьютере из ONNX исполняется всё, обычно как раз используется с десяток функций из тысячи имеющихся) > Это явно не случай LLM Именно. Потому что LLM не остальные модели, LLM именно что тяжело вместить в память consumer-grade GPU. Для подобных вещей однако можно вынести на GPU лишь часть вычислений, например с BLAS/compute шейдером, и по скорости получится как раз бесплатный ChatGPT. ONNX однако не очень способен исполнять модель гибридно.