数据缓存与生命周期管理
SiteMCP设计了一套完整的缓存管理方案来平衡数据新鲜度与访问效率:
- 存储策略:默认使用
~/.cache/sitemcp
目录,支持通过--cache-dir
自定义路径 - 缓存控制:提供
--no-cache
选项禁用缓存,适合临时性数据需求 - 更新机制:相同URL的重复抓取会触发缓存自动更新,保证数据时效性
缓存文件采用gzip压缩存储,平均每个页面仅占15-30KB空间。对于大型文档站点(如Vite官方文档),建议定期执行rm -rf ~/.cache/sitemcp
清理过期数据。这套系统使得AI助手能够快速访问历史数据,同时保持对新内容的获取能力。
本答案来源于文章《SiteMCP:抓取网站内容并转为MCP服务》