Small MoE from liquid-AI. Very fast on B70 with OpenArc:
┏━━━━━┳━━━━━━┳━━━━━┳━━━━━┳━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━━━━━┳━━━━━━━━━━━━━┓
┃ run ┃ d ┃ p ┃ n ┃ ttft(s) ┃ tpot(ms) ┃ prefill(t/s) ┃ decode(t/s) ┃ duration(s) ┃
┡━━━━━╇━━━━━━╇━━━━━╇━━━━━╇━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━━━━━━╇━━━━━━━━━━━━━┩
│ 1 │ 2048 │ 512 │ 128 │ 0.53 │ 31.12 │ 4848.2 │ 32.1 │ 0.65 │
│ 2 │ 2048 │ 512 │ 128 │ 0.14 │ 7.51 │ 17666.5 │ 133.2 │ 1.10 │
│ 3 │ 2048 │ 512 │ 128 │ 0.14 │ 7.08 │ 17926.8 │ 141.2 │ 1.04 │
│ 4 │ 2048 │ 512 │ 128 │ 0.14 │ 6.93 │ 17860.2 │ 144.3 │ 1.02 │
│ 5 │ 2048 │ 512 │ 128 │ 0.15 │ 6.61 │ 17038.2 │ 151.3 │ 0.99 │
└─────┴──────┴─────┴─────┴─────────┴──────────┴──────────────┴─────────────┴─────────────┘
┏━━━━━┳━━━━━━━┳━━━━━┳━━━━━┳━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━━━━━┳━━━━━━━━━━━━━┓
┃ run ┃ d ┃ p ┃ n ┃ ttft(s) ┃ tpot(ms) ┃ prefill(t/s) ┃ decode(t/s) ┃ duration(s) ┃
┡━━━━━╇━━━━━━━╇━━━━━╇━━━━━╇━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━━━━━━╇━━━━━━━━━━━━━┩
│ 1 │ 64000 │ 512 │ 128 │ 89.60 │ 6.89 │ 720.0 │ 145.1 │ 90.48 │
│ 2 │ 64000 │ 512 │ 128 │ 89.48 │ 7.28 │ 721.0 │ 137.4 │ 90.40 │
│ 3 │ 64000 │ 512 │ 128 │ 89.18 │ 7.15 │ 723.4 │ 139.9 │ 90.08 │
│ 4 │ 64000 │ 512 │ 128 │ 89.05 │ 7.25 │ 724.4 │ 138.0 │ 89.97 │
│ 5 │ 64000 │ 512 │ 128 │ 89.61 │ 7.09 │ 719.9 │ 141.1 │ 90.51 │
└─────┴───────┴─────┴─────┴─────────┴──────────┴──────────────┴─────────────┴─────────────┘
- Downloads last month
- 40
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support