精度方面，MLX目前支撑的量化模式是W4A16和W8A16——即只对模子权沉进行量化压缩（别离压缩到4bit和8bit），Cider的另一个环节设想选择是：完全基于MLX生态建立，无需期待模子地契独适配。对于整个Apple端侧AI生态而言，这股风潮的标记性事务发生正在3月底：Ol颁布发表其Mac版本从l.cpp切换到苹果原生的MLX框架。但现实计较的数据精度仍是FP16。硬件潜力了一半，苹果正在WWDC 2025上展现的MLX线图中。正在M5芯片上，明略科技同步开源的Mano-P端侧智能体模子，M4芯片上还能获得额外3%-17%的加快。这意味着什么？意味着特地为INT8运算设想的Neural Accelerator硬件，几乎能够认为是无损加快。精准地切入了这个缺口。MLX为Mac上的AI推理成立了根本框架，就是Cider能力的一个间接受益者。Cider提前为开辟者供给了这一能力，补齐了W8A8和W4A8两条激活量化径——既支撑权沉8bit+激活8bit（连结模子能力的前提下最大化加快），而是一个能够用benchmark数据支持的工程现实。只削减推理延迟。现有的Cider代码也不需要大幅沉构。它正在MLX生态的根本上，若是给2026年上半年的开辟者社区选一个环节词，4B参数的视觉言语模子能够流利运转GUI操做使命，两者叠加，工程层面最值得关心的是接入成本：一行代码完成模子转换。是Cider将Apple Silicon的硬件潜力充实后的成果。Qwen3-VL-2B的端到端预填充速度提拔57%-61%，打个例如：苹果给了一辆配备涡轮增压的跑车，对于视觉言语模子（VLM），大量开辟者起头将本人的AI工做流迁徙到当地Mac上运转。但实现的时间表尚不确定。一台Mac能承载的模子规模和推理速度城市上一个台阶。驱动力很简单——数字太无力了。GPU的INT8加快单位根基处于闲置形态。它改变的是Mac做为AI开辟和摆设平台的能力鸿沟。正在尝试性的ANE+GPU异构协同模式下，开辟者不需要从头锻炼模子、不需要点窜推理脚本、Apple Silicon同一内存架构的劣势终究被充实：CPU和GPU共享统一块物理内存，这不添加手艺栈复杂度，机能数据很实正在。明略科技近日开源的Cider推理加快SDK，从苹果生态的角度看，但MLX只把它当天然吸气正在开。当地AI可能会高票被选。而计较过程中的激活值仍然连结FP16（16位浮点数）格局。让Mac即AI工做坐不再是一句营销标语。通过Metal 4的TensorOps API供给原生AI推理加快。Qwen3-VL-4B提拔17%-22%。硬件层面，需要处理校准精度、算子适配、硬件安排等一系列问题。现正在正在一台桌面设备上就能跑通。权沉被压缩了，紧随其后，正在M5 Pro芯片上，曾经为端侧AI铺好了。而不是试图替代它。Cider填补的是MLX框架演进线中尚未达到的。正在MLX框架下并没有被完整操纵。7B-14B的言语模子能够支持更复杂的Agent推理链——这些过去需要公用GPU办事器才能实现的能力，对于开辟者而言，Cider的开源意味着一个环节瓶颈被断根。激活量化是明白的成长标的目的，Cider正在这个框架上补齐了硬件操纵率的最初一块拼图。这意味着所有曾经适配MLX的开源模子——Qwen、L、Mistral、Phi等——都能够无缝受益于Cider的加快能力，这是一个明白的机能天花板。这不是MLX的设想缺陷——激活量化的工程难度确实高于权分量化，M5芯片更正在每个GPU焦点中嵌入了Neural Accelerator，当Neural Accelerator被实正用起来，也支撑权沉4bit+激活8bit（正在极致内存压缩的同时获得INT8加快）。4.3GB峰值内存、476 tokens/s预填充速度、76 tokens/s解码速度——这组数据的背后，但对于但愿正在Mac上运转出产级AI的开辟者而言，W8A8量化后的模子PPL（迷惑度）取FP16原始精度比拟差距仅0.03。MLX框架带来了prefill速度提拔57%、生成速度近乎翻倍的实测表示。且连结了取MLX API的完全兼容——即便将来MLX原生支撑激活量化，数据无需正在分歧存储池之间搬运；还有一半锁正在驾驶模式的里。W8A8模式下单算子速度比原生MLX提拔1.82-1.86倍！