公司里有些材料不能上传云端，比如临床记录、调查中的 HR 文件或受监管的客户文档。这时，AI 是否“最聪明”反而不是首要问题：能在自有设备上运行的小语言模型（SLM——规模和资源需求较小、能力也更受限的模型），可能是云端大模型之外唯一可用的选择。
Matthew Mayo 在 KDnuggets 提出，一个实际用途是文档结构化：让模型读取报告，按预先规定的字段输出表格或数据库记录，而不是自由写一篇文章。这样的任务目标明确，结果也容易检查。文中认为，约 80 亿参数以内的现成模型，可在普通非专用硬件上处理这类工作，无需微调；其价值主要来自数据不离开设备、已购硬件可承接大量任务，以及省去网络往返后的低延迟。
边界也很清楚：小模型不适合需要长链条推理的数学和复杂代码，训练中记住的知识更少，长输入中间部分也可能被忽略。换句话说，它更像受约束的本地工具，而不是包办所有问题的通用助手；上述适用性判断来自作者论述，材料未提供独立实测数据。