SmolLM是一个集合了135M、360M和1.7B参数量的小语言模型，这些模型在一个全新的高质量数据集SmolLM-Corpus上训练。文章详细介绍了数据整理、模型评测和使用方法。SmolLM-Corpus包含Cosmopedia v2、Python-Edu和FineWeb-Edu三个子集，这些数据集经过精心整理和优化，以提高数据质量和多样性。实验结果显示，SmolLM模型在常识推理和世界知识评测标准上超越了现有模型。文章还讨论了模型的训练过程、超参数选择和评测结果，展示了小模型在本地设备上的高性能和快速运行能力。SmolLM模型可以在各种本地硬件上运行，包括智能手机和笔记本电脑，为本地化应用提供了可能。