Models

LLM architectures and pretraining recipes, with links to their sources.

Browse model details · Download CSV · Download JSON

Model architectures
Model	Total parameters	Active parameters	Attention	Layers	Hidden size
A.X K2SK Telecom	688B parameters	33B parameters	MLA, DSA (SGA)	61	7,168
Apertus-v1.5-70B-baseSwiss AI	70B parameters	70B parameters	GQA	80	8,192
Beam-1.0-501B-A23BReflection AI	501.3B parameters	23.4B parameters	GQA, SWA	52	5,120
Command A+ (command-a-plus-05-2026)Cohere	218B parameters	25B parameters	GQA, SWA	32	4,096
DeepSeek-V3-BaseDeepSeek	671B parameters	37B parameters	MLA	61	7,168
DeepSeek-V3.2DeepSeek	671B parameters	37B parameters	MLA, DSA	61	7,168
DeepSeek-V4-Flash-BaseDeepSeek	284B parameters	13B parameters	SWA, CSA, HCA (CSA and HCA each with a 128-token SWA branch)	43	4,096
DeepSeek-V4-ProDeepSeek	1.6T parameters	49B parameters	CSA, HCA (each with a 128-token SWA branch)	61	7,168
DeepSeek-V4.1-FlashDeepSeek	552B parameters	16B parameters	SWA, CSA2	40	5,120
Gemma-4-26B-A4BGoogle DeepMind	25.2B parameters	3.8B parameters	GQA, SWA	30	2,816
Gemma-4-31BGoogle DeepMind	30.7B parameters	30.7B parameters	GQA, SWA	60	5,376
GLM-5.3Z.ai	744B parameters	40B parameters	MLA, DSA	78	6,144
GLM-5.3-FlashZ.ai	320B parameters	18B parameters	KDA, MLA, DSA	45	4,096
gpt-oss-120bOpenAI	116.8B parameters	5.13B parameters	GQA, SWA	36	2,880
Granite-4.1-30B-BaseIBM	28.87B parameters	28.87B parameters	GQA	64	4,096
Hy3-preview-BaseTencent	295B parameters	21B parameters	GQA	80	4,096
Hy4-previewTencent	770B parameters	49B parameters	MLA, DSA	78	6,144
InklingThinking Machines Lab	975B parameters	41B parameters	GQA, SWA	66	6,144
Inkling-SmallThinking Machines Lab	276B parameters	12B parameters	GQA, SWA	42	4,096
K-EXAONE 2.0LG AI Research	750B parameters	37B parameters	GQA, SWA	78	6,144
K2-Horizon-375B-A23B (mid_4_6000)MBZUAI IFM	375B parameters	23B parameters	GQA	61	6,144
K2-Horizon-MoVA-36B-A4B (mid_4_10000)MBZUAI IFM	36B parameters	4B parameters	GQA (MoVA: routed value projections in 45 of 48 layers)	48	2,560
Kimi-K2-BaseMoonshot AI	1.04T parameters	32.6B parameters	MLA	61	7,168
Kimi-K2.5Moonshot AI	1T parameters	32B parameters	MLA	61	7,168
Kimi-K3Moonshot AI	2.78T parameters	104.2B parameters	KDA, MLA	93	7,168
Laguna-M.1-basePoolside	225.8B parameters	23.4B parameters	GQA	70	4,096
Laguna-S-2.1Poolside	118B parameters	8B parameters	GQA, SWA	48	3,072
Laguna-XS-2.1Poolside	33B parameters	3B parameters	GQA, SWA	40	2,048
Laguna-XS.2Poolside	33.4B parameters	3B parameters	GQA, SWA	40	2,048
Ling-2.6-1T-baseinclusionAI	1T parameters	63B parameters	Lightning, MLA	80	8,192
Ling-3.0-flash-baseinclusionAI	124B parameters	5.1B parameters	KDA, MLA	42	2,560
Ling-3.1-flashinclusionAI	560B parameters	25B parameters	KDA, MLA	72	4,096
LongCat-2.0Meituan	1.6T parameters	48B parameters	MLA, LSA	38	8,192
MAI-Thinking-1Microsoft AI	962B parameters	34.7B parameters	GQA, SWA	78	6,656
MiMo-V2-Flash-BaseXiaomi	309B parameters	15B parameters	GQA, SWA	48	4,096
MiMo-V2.5-Pro-BaseXiaomi	1.02T parameters	42B parameters	GQA, SWA	70	6,144
MiMo-V2.6-FlashXiaomi	310B parameters	15B parameters	GQA, SWA	48	4,096
MiMo-V2.6-ProXiaomi	1.02T parameters	42B parameters	GQA, SWA	70	6,144
MiniMax-M1MiniMax	456B parameters	45.9B parameters	Lightning, GQA	80	6,144
MiniMax-M2.7MiniMax	229.9B parameters	9.8B parameters	GQA	62	3,072
MiniMax-M3MiniMax	428B parameters	23B parameters	GQA, MSA	60	6,144
Mistral-Large-3-675B-Base-2512Mistral AI	675B parameters	41B parameters	MLA	61	7,168
Mistral-Medium-3.5-128BMistral AI	128B parameters	128B parameters	GQA	88	12,288
Mistral-Small-4-119B-2603Mistral AI	119B parameters	6.5B parameters	MLA	36	4,096
Motif-3-BaseMotif Technologies	314B parameters	13.2B parameters	GDLA (MLA latent KV + grouped differential attention), SWA	53	4,096
Muse-Spark-Open-816B-A42BMeta	816B parameters	42B parameters	GQA, SWA	62	8,192
Nemotron-3-Super-120B-A12B-BaseNVIDIA	120.6B parameters	12.7B parameters	GQA, Mamba-2	48	4,096
Nemotron-3-Ultra-550B-A55B-BaseNVIDIA	550B parameters	55B parameters	GQA, Mamba-2	60	8,192
Olmo-3-1125-32BAi2	32B parameters	32B parameters	GQA, SWA	64	5,120
Qwen3-Next-80B-A3B-InstructQwen	80B parameters	3B parameters	Gated DeltaNet, GQA	48	2,048
Qwen3.5-122B-A10BQwen	122B parameters	10B parameters	Gated DeltaNet, GQA	48	3,072
Qwen3.5-27BQwen	27B parameters	27B parameters	Gated DeltaNet, GQA	64	5,120
Qwen3.5-35B-A3BQwen	35B parameters	3B parameters	Gated DeltaNet, GQA	40	2,048
Qwen3.5-397B-A17BQwen	397B parameters	17B parameters	Gated DeltaNet, GQA	60	4,096
Qwen3.8-2.4T-A95BQwen	2.4T parameters	95B parameters	Gated DeltaNet, GQA	92	8,192
Qwen3.8-27BQwen	27B parameters	27B parameters	Gated DeltaNet, GQA	64	5,120
Qwen3.8-Flash-NextQwen	125B parameters	6B parameters	Gated DeltaNet, QSA	48	2,560
Solar-Open2-250BUpstage	250.3B parameters	15B parameters	GQA, KDA	48	4,096
Step-3StepFun	321B parameters	38B parameters	MFA	61	7,168
Step-3.5-Flash-BaseStepFun	196B parameters	11B parameters	GQA, SWA	45	4,096
Step-5-PreviewStepFun	600B parameters	27B parameters	SWA, DSA (Sparse GQA)	92	4,096
Trinity-Large-BaseArcee AI	398B parameters	13B parameters	GQA, SWA	60	3,072