Собственная сборка Liquid AI в GGUF для llama.cpp (Q4_K_M) модели LFM2.5-24B-A2B, MoE на 24B, 2B активных: быстрая на CPU и пограничных устройствах.
LFM Open License v1.0: использовать, менять и распространять можно бесплатно, но коммерческое использование разрешено только компании (вместе с её аффилированными лицами) с годовой выручкой меньше 10 миллионов долларов США; выше этого порога для коммерческого использования нужна отдельная лицензия Liquid AI. Некоммерческие исследования не ограничены.
В шаблоне диалога этой сборки есть тег 'generation'. Нужен майнер, который собирает каждый шаблон диалога так же, как transformers; выпуск 0.0.10 отказывает этому шаблону на текстовом пути.