准备和运行Local LLM Notepad只需以下四步:
- 获取程序文件:从GitHub Releases页面下载最新版
Local_LLM_Notepad-portable.exe
(约50MB) - 下载兼容模型:推荐获取GGUF格式的轻量模型如
gemma-3-1b-it-Q4_K_M.gguf
(约0.8GB),这些模型在Hugging Face等平台可找到 - 存储配置:将EXE文件与模型文件共同拷贝至U盘根目录(建议剩余空间≥2GB)
- 启动运行:在任意Windows电脑双击EXE文件,首次加载模型需30-60秒(依赖硬件性能),后续使用响应更快
Caveats:需确保设备至少有4GB空闲内存,推荐8GB以上以获得20 tokens/秒的生成速度。模型加载后会常驻RAM,关闭程序即释放资源。如需更换模型,可通过菜单栏的文件→选择模型功能随时切换不同GGUF文件。
This answer comes from the articleLocal LLM Notepad: A Portable Tool for Running Local Large Language Models OfflineThe