WeClone的硬件需求取决于具体使用场景:
- 基础运行:使用默认ChatGLM3-6B模型+LoRA微调时至少需要16GB显存的GPU(如RTX3090)
- 低配方案:采用QLoRA(4位量化)时,7B模型最低需要6GB显存,可通过调节per_device_train_batch_size等参数适配
- 多卡方案:支持DeepSpeed多卡训练,70B大模型需要8张A100(80GB)
- 代用方案:显存不足时可尝试Colab等云平台,或使用魔搭社区的API服务
实测数据:在消费级RTX4080(16GB)上训练2万条数据约需4小时。如果仅做推理(不训练),8GB显存也能勉强运行基础功能。
Essa resposta foi extraída do artigoWeClone: treinamento de doppelgangers digitais com registros de bate-papo e vozes do WeChatO