欢迎 Inkling 2 Mini,为您的本地部署带来尖端性能

模型更新 Hugging Face 原文语言:英文

Inkling 2 Mini 是一款全新的循环 Transformer 模型,采用多模态混合专家架构,总物理参数约 260 亿,每个 token 激活 30 亿参数。它通过让中间层循环运行三次来增加容量,支持 100 万 token 的上下文窗口,并接受图像与文本输入。在多个基准测试中,其性能处于同类领先地位,并提供 transformers、llama.cpp、MLX 和 SGLang…

全文

TLDR; Inkling 2 Mini 是一种新型循环变压器模型。它是一个多模态专家混合模型,拥有约 260 亿物理总参数和每个 token 30 亿激活参数。它使用一种巧妙的技巧来提升容量:某些层在循环中被访问三次,使其表现得像拥有更多参数。它支持 100 万 token 的上下文大小,接受图像和文本输入。Thinking Machines Lab 以混合精度格式提供模型,使用 NVFP4 和 MXFP8 专家权重。还附带了一个 DSpark 草稿器,可在少量内存开销下进一步加速。

Inkling 2 Mini 比 Inkling 2 Small 小得多,专为本地 AI 部署设计。我们认为这是一个令人耳目一新的本地模型。在我们的 vibe 测试中,它至少可以与 Qwen 3.8 27B 相媲美。仍需更多验证,但我们对这次发布感到非常兴奋!

我们提供 transformer、Llama App(llama.cpp)和 MLX 支持。SGLang 还提供面向数据中心硬件的零日推理支持,用于生产部署。

本文将介绍 Inkling Mini 与众不同之处、我们的 vibe 测试结果以及如何在你的环境中使用它。

Inkling 2 Mini 有哪些新特性?

Inkling 2 Mini 是一个专家混合模型,拥有 24 层解码器,但其中间的 12 层会循环三次。因此,模型的逻辑层数相当于 48 层(6+3×12+6),而实际只有 24 层物理层。

与 Inkling 2 Small 类似,Inkling 2 Mini 对每个 token 执行 48 次层访问。隐藏维度为 2,304,而不是 4,608。每次层访问时,两种变体都会将 token 路由到 8 个专家,但 Mini 从每层的 128 个专家中选择,而 Small 则从 384 个中选择。

解码器对层 0–5 访问一次,层 6–17 访问三次,层 18–23 访问一次。对层 6–17 的三次遍历使用相同的权重。

类似 Nanbeige 的架构之前也探索过循环。但 Inkling 2 Mini 采用了一种有趣的方法。每次通过循环核心(层 6–17)时,都从相同的输入开始,即前六层的输出。信息在不同遍历之间通过跨遍历消息传递。每个循环层会读取上一遍历输出的消息,并使用其自学习的查询(为查询、键、值和 MLP 输入各一条消息)。一个小型门控控制器会查看层的当前输入和消息,决定忘记多少当前输入并加入多少消息。于是每次遍历都会对前一次的计算进行细化。

每个六层块包含五个滑动窗口层和一个全注意力层。局部窗口最多容纳 1,024 个 token。

注意力使用 24 个查询头和 8 个 KV 头。它采用学习的相对位置 logits、学习的 sink 和输出门。全注意力层使用动态键和值卷积。

路由器为每个 token 选择 128 个 SwiGLU 专家中的 8 个。它对选中的分数进行归一化,并将权重乘以 8。

在第 2、3 次遍历时,每个核心层会关注上一遍历的两个残差块。四个 64 维的门将不同的消息混合到查询、键、值和 MoE 输入中。

文本解码器宽度为 2,304,每个专家的中间宽度为 1,152。重复使用核心权重降低了检查点存储的不同层数量。模型仍然执行全部 48 次访问,每次访问保留其自己的 KV 和短卷积状态。

除了旗舰的 Inkling 2 Mini 模型外,还发布了一个研究产物。它拥有相同的架构,但该变体被训练为接受可变次数的循环遍历 🤯。设置为 1 或 2 次遍历而非 3 次,可显著加快推理速度,但生成质量可能略有下降。我们测试了该变体,效果可用,但尚未深入评估。

基准结果

Inkling 2 Mini 在人工分析智能指数 v5(AAv5)中以及多个类别的众多基准中均处于同类领先地位。与 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B 和 Nemotron 3.5 Super VL 相比,Inkling 2 Mini 在 48 项基准中的 32 项中领先。这些基准涵盖编码与自动研究、代理搜索与工具使用、视觉解释与创作、推理与知识以及安全与对齐。完整的基准列表和得分请参见 Inkling 2 Mini 模型卡。

Inkling 2 Mini 是一个出色的本地编码伴侣。它在 FrontierCode v2.0 中领先,在 Terminal-Bench 4.0 中与 Qwen3.8-27B 并列,并在 AutomationBench-AA v1.0.6 中落后于 Qwen。您可以在下面查看我们为编码和知识工作挑选的几个亮点。请注意,AA Briefcase 使用的是 ELO 评分,分数越高越好。

推理支持

在本节中,您可以了解如何在 transformers、llama.cpp、MLX 和 SGLang 中使用 Inkling 2 Mini。

Transformers

我们同时提供对 Inkling 2 Mini(固定循环)和 TML-d24-varloop-research(可变循环)研究变体的支持。

固定循环使用 Inkling 2 Mini

您可以使用 AutoModelForMultimodalLM 类。

import torch from transformers import AutoModelForMultimodalLM, AutoProcessor model_id = "thinkingmachines/Inkling-2-Mini" processor = AutoProcessor.from_pretrained(model_id) model = AutoModelForMultimodalLM.from_pretrained( model_id, ) messages = [{"role": "user", "content": [{"type": "text", "text": "Why is the sky blue?"}]}] inputs = processor.apply_chat_template( messages, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt", ).to(model.device) input_len = inputs["input_ids"].shape[-1] outputs = model.generate(**inputs, max_new_tokens=1024) print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))

可变循环

要在研究检查点中设置循环次数,您可以在 text_config 中修改 loop_num_passes,如下所示。下面的示例使用了两次循环。

import torch from transformers import AutoModelForMultimodalLM, AutoProcessor model_id = "thinkingmachines/TML-d24-varloop-research" processor = AutoProcessor.from_pretrained(model_id) model = AutoModelForMultimodalLM.from_pretrained( model_id, text_config={"loop_num_passes": 2}, ) messages = [{"role": "user", "content": [{"type": "text", "text": "Why is the sky blue?"}]}] inputs = processor.apply_chat_template( messages, reasoning_effort="medium", tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt", ).to(model.device) input_len = inputs["input_ids"].shape[-1] outputs = model.generate(**inputs, max_new_tokens=1024) print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))

图像和文本

对于图像提示,请将任一示例中的 messages 替换为以下列表,并照常推理。

messages = [ { "role": "user", "content": [ {"type": "image", "image": "/path/to/image.jpg"}, {"type": "text", "text": "What is in this image?"}, ], } ]

推理力度

在 processor.apply_chat_template(...) 中传入 reasoning_effort="medium" 可设置请求的推理力度。聊天模板会将数值作为系统消息添加到提示中。默认值为 high (0.9)。

inputs = processor.apply_chat_template( messages, reasoning_effort="medium", tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt", ).to(model.device)

可用等级包括 none (0.0)、minimal (0.1)、low (0.2)、medium (0.7)、high (0.9; 默认)、xhigh (0.99) 和 max (0.99)。您也可以传入 0.0 到 0.99 之间的数字,例如 reasoning_effort=0.35。

工具调用

让我们的模型调用一些工具。

在本例中,我们让模型查询给定位置的当前温度。通过提示,我们同时提供了执行该任务的工具 (get_current_temperature)。模型会请求调用工具,我们代为调用并将输出加入下一条指令中。模型使用工具的输出并给出最终结果。

如果您想了解更多关于工具调用的信息,建议访问我们的官方文档。

import torch from transformers import AutoModelForMultimodalLM, AutoProcessor model_id = "thinkingmachines/Inkling-2-Mini" processor = AutoProcessor.from_pretrained(model_id) model = AutoModelForMultimodalLM.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto") def get_current_temperature(location: str, unit: str): """ Get the current temperature at a location. Args: location: The location to get the temperature for, in the format "City, Country" unit: The unit to return the temperature in. (choices: ["celsius", "fahrenheit"]) """ return 22.0 # A real function would call a weather API here def ask(messages): inputs = processor.apply_chat_template( messages, tools=[get_current_temperature], reasoning_effort="low", tokenize=True, return_dict=True, return_tensors="pt" ).to(model.device) output = model.generate(**inputs, max_new_tokens=1024)[0][inputs["input_ids"].shape[-1] :] parsed = processor.parse_response(output, prefix=inputs["input_ids"][0]) return parsed messages = [{"role": "user", "content": "Hey, what's the temperature in Paris right now?"}] reply = ask(messages) call = reply["tool_calls"][0]["function"] print("Model calls:", call["name"], call["arguments"]) # the model fills in the arguments itself temperature = get_current_temperature(**call["arguments"]) messages += [reply, {"role": "tool", "name": call["name"], "content": str(temperature)}] print(ask(messages)["content"]) # Model calls: get_current_temperature {'location': 'Paris, France', 'unit': 'celsius'} # Right now in Paris it’s about **22°C** (roughly **71.6°F**).

Llama App 和 Llama.cpp

Llama App 让你能够在 macOS(通过菜单栏)或 Windows(通过系统托盘)上轻松运行和管理本地语言模型。它构建于 llama.cpp 之上,由同一团队开发。该应用还提供了一个本地兼容 OpenAI 的 API,以便与编码智能体、编辑器和脚本轻松集成。

对于 Inkling 2 Mini 的发布,我们为这两个模型提供了 GGUF 4-bit (IQ4_NL) 和 8-bit (Q8_0) 量化版本。

如果你使用的是 Linux,或者想要从命令行(CLI)提供模型服务,可以针对固定循环模型运行以下命令:

llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL

要运行可变循环模型,你可以运行

llama serve -hf ggml-org/TML-d24-varloop-research-GGUF:IQ4_NL

要加载 8-bit 权重,请将后缀更改为 :Q8_0。

在这里,我们让 4-bit 模型为一个名为 plant therapy 的 SaaS 制作一个网站,该网站将植物与持证治疗师进行匹配。该模型非常自主,它为网站上的视觉效果制作了自己的 SVG,甚至构建了匹配逻辑。

SGLang

Inkling 2 Mini 在 SGLang 中自带 Day 0 支持。你可以安装最新版本的 SGLang 并执行以下操作来启动并运行服务器。需要注意的一个前提条件是在 SM103 上运行它。

export MODEL="thinkingmachines/Inkling-2-Mini" python -m sglang.launch_server \ --model-path $MODEL \ --served-model-name inkling \ --attention-backend fa4 --bf16-gemm-backend torch --dtype bfloat16 \ --tp 1 --page-size 128 --grammar-backend xgrammar \ --host 0.0.0.0 --port 30000

服务器启动后,你应该能够像这样请求 API

curl -s localhost:30000/health_generate && echo OK curl -s localhost:30000/v1/models | python -m json.tool curl -s localhost:30000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "inkling", "messages": [{"role": "user", "content": "What is 17 times 24?"}], "max_tokens": 512, "reasoning_effort": "low" }' | python -m json.tool

人们还可以通过设置 --enable-multimodal 来启用多模态。

推测解码 (Speculative decoding)

SGLang 可以使用三层 DSpark 草稿模型来生成候选 Token,供目标模型进行验证。该草稿模型读取解码器访问第 5、23 和 41 层的输入,以及索引 48 处的最终归一化状态。在存在草稿权重的情况下,将 --speculative-algorithm DSPARK --context-length 131072 添加到服务器命令中。

我们对启用和禁用推测解码的模型进行了基准测试,并在单个 NVIDIA B300 GPU 上测量了生成速度,其中每个请求具有 1,024 个 Token 的提示词,并且正好生成 1,024 个 Token,并发数分别为 1、4、16 和 64。

展示 SGLang 基准测试脚本

MODEL=thinkingmachines/Inkling-2-Mini for TAG in base mtp; do EXTRA=""; [ $TAG = mtp ] && EXTRA="--speculative-algorithm DSPARK" # Start the server (with or without MTP) python -m sglang.launch_server --model-path $MODEL \ --attention-backend fa4 --bf16-gemm-backend torch --dtype bfloat16 \ --tp 1 --page-size 128 --context-length 131072 --max-running-requests 64 \ --port 30000 $EXTRA > $TAG.log 2>&1 & until curl -sf localhost:30000/health_generate > /dev/null; do sleep 10; done # Benchmark at increasing concurrency for C in 1 4 16 64; do python -m sglang.bench_serving --backend sglang --port 30000 --model $MODEL \ --dataset-name random --apply-chat-template \ --random-input-len 1024 --random-output-len 1024 --random-range-ratio 1.0 \ --num-prompts $(( C*4 < 32 ? 32 : C*4 )) --max-concurrency $C \ --output-file results_$TAG.jsonl done kill %1; wait done

MLX

我们已将 MLX 支持合入 mlx-lm 项目,包括多模态图像和文本输入,并通过 mlx-community 组织共享了量化版本。

MLX 推理同样支持原始检查点。在这种情况下,系统会直接使用原生的 nvfp4 + mxfp8 量化方案而无需重新转换:从而保留了作者所期望的原始质量。

以下是一个 CLI 调用示例:

mlx_lm generate --model thinkingmachines/Inkling-2-Mini --image image.jpg --prompt "Describe this image.<|end_message|><|message_user|><|content_image|><|unused_200054|>" -m 1000

演示与体验测试

我们在许多有趣的任务中对 Inkling 2 Mini 进行了尝试,欢迎在本节中查看。

3D 着色器飞行浏览

相同的提示词生成了两次掠过程序化山脉和反光水面的日落飞行画面,每个画面都由一个单独的 WebGL 片段着色器渲染而成。

日落岭(Inkling 2 Mini)

静海之上(Qwen 3.8 27B)

显示共享的飞行提示词

构建你能做出的最令人印象深刻的原创实时场景:一次缓慢的、充满电影感的摄像机飞行,掠过程序化山脉,穿过体积云,低空掠过带有倒影的水面,这一切都由日落的光线照亮。将其交付为当前目录下一个自包含的 index.html,完全由代码(无纹理、图像、字体、库、外部文件或任何类型的网络请求)在一个全屏 WebGL 片段着色器中渲染所有内容。它必须在桌面版 Chrome 中以 1920x1080 流畅运行,目标是在桌面 GPU 上达到 60 fps,并具备自动分辨率缩放回退功能,当帧率下降时会降低内部渲染分辨率,且飞行必须无限期地持续进行而无卡顿。若要检查你的工作,请运行 node shot.cjs index.html shot.png 6(第三个参数是等待的秒数;诸如 3,12,25 的逗号列表可以每次保存一个截图,可选的第四个参数设置尺寸,默认 1280x720):它将在无头 Chrome 中渲染页面、保存截图,并打印 WebGL 渲染器、大致帧率和任何控制台错误;然后查看这些图像。此机器上的无头渲染器可能是纯软件的,因此其帧率可能远低于真实桌面 GPU 的表现,且并非目标。请自行决定结果何时完成,然后回复一段关于你构建内容的简短描述。

星夜,生生不息

文森特·梵高,《星夜》(1889)

Inkling 2 Mini 还原版

我们将梵高画作的参考图像以及 Pi 编码工具中的截图助手提供给 Inkling 2 Mini。Inkling 编写了一个包含单个 WebGL2 片段着色器的自包含 HTML 页面。该着色器通过代码直接绘制场景,无需加载参考图像或任何其他资产。它利用时间来让旋转的天空、星星的光芒、摇曳的柏树以及村庄窗户的闪烁呈现出动画效果。

Inkling 经过 24 轮截图检查对其工作进行了渲染和审查。我们在 Apple M4 Max 上以 1080p 和 60 fps 逐帧录制了最终动画。

显示提示词

在此文件夹中,starry-night.jpg 是文森特·梵高的《星夜》(1889,公共领域)。请将其重新创作为一幅活生生的画作:一个单独的自包含 index.html(所有代码内联,无外部文件、库或网络请求),填满浏览器窗口,并在桌面 Chrome 1920x1080 下流畅运行。所有内容必须在代码中程序化生成,例如使用 WebGL 着色器;页面不得加载、嵌入或采样 starry-night.jpg 或任何其他图像。忠实于画作的构图和调色板(天空中巨大的螺旋和旋转的气流、光环星星、发光的新月、左侧暗黑如火焰的柏树、起伏的丘陵以及带有教堂尖塔的村庄),以梵高厚重、方向性的笔触呈现,并赋予其生命:天空的旋涡流动,星星和月亮脉动发光,柏树摇曳,村庄窗户闪烁发光。力求实现最令人印象深刻的效果。提供了一个助手:运行 node shot.js --help 可查看如何在多个时刻对 index.html 进行截图;查看参考旁的截图并不断改进,直至满意,然后回复一个简短的摘要说明你做了什么。

Napkin to App

Input napkin sketch

Generated Trip Split app

我们给 Inkling 2 Mini 提供了一张手绘的 Trip Split 线框图以及在 Pi 编码环境中的一段单句提示。Inkling 使用线框中的标签、示例费用和手写笔记,构建了费用列表、添加费用表单和余额视图,全部放在一个仅含原生 CSS 和 JavaScript 的 HTML 文件中。该应用在费用变动时更新总额和余额,建议付款方式以结清旅行费用,并将数据保存在浏览器的 localStorage 中,以便刷新后仍能保持。

我们运行了三次独立的 Inkling 尝试,并使用 Playwright 点击每个构建,检查需要视觉判断的截图。第一次尝试(如图所示)通过了全部 13 项检查。将线框中的 90 美元晚餐加入后,总额从 405 美元升至 495 美元,并重新计算了每个人应付的金额。

Show prompt

此文件夹中的 photo sketch.jpg 是产品设计师手绘的一个小型应用线框图。请将该应用真实构建出来,做到最令人印象深刻、原创且具生产质量的版本:在此文件夹中使用仅原生 HTML、CSS 和 JavaScript(无框架、CDN、外部文件或网络请求;localStorage 可用)的单个自包含 index.html,必须在桌面 Chrome 1920x1080 下流畅运行。将纸上的所有内容视为规格:每个屏幕、标签、按钮、数字、示例数据以及每条红色注释描述的行为都必须实际工作,而视觉设计、排版和动效由你自行美化。仔细观察草图并用你的视觉再次检查自己的工作:node shot.cjs --help 解释了一个提供的助手,可在任意窗口尺寸下通过无头 Chrome 对 index.html 进行截图(如果愿意,也可使用已安装的 Playwright 编写脚本),并可使用 read 工具查看任何截图。点击每个功能,逐屏对比草图,持续改进直至完全满意;然后回复一个简短的摘要说明你构建了什么。

4-bit Model

我们让 4 位 GGUF 量化的 Inkling 2 Mini(IQ4_NL)制作一个名为 plant therapy 的 SaaS 网站,在该网站上将植物与持证治疗师匹配。

模型相当自主,它仅凭一个简短提示:“Can you make a website for my saas called plant therapy where I match house plants with licensed therapists so plants don’t die, return single HTML”,就自行创建了网站的 SVG 视觉元素,并实现了匹配逻辑。

“Make yourself into a browser agent”

我们将 Inkling 2 Mini 与 Pi 编码代理配对,使用 Helium、Chromium 和 Hugging Face 沙盒将其构建为浏览器代理。我们在此存储桶中提供了追踪记录和最终文件(可用作浏览器代理)。

Wrapping Up

我们非常高兴能与 Thinking Machines Lab 合作,推出 Inkling 2 Mini,这是一款在本地部署时性能出色的中型模型。欢迎尝试此模型,并在评论中告诉我们你的使用感受!

正文为 AI 译文。

参考来源

← 返回每日AI报告