Como implementar o Gaze-LLE em dispositivos de borda com recursos limitados?

2025-09-10

2.1 K

边缘设备部署的轻量化方案

针对树莓派等边缘设备，可通过以下方案实现低资源部署：

Quantificação do modelo:使用PyTorch的torch.quantization将FP32模型转为INT8格式，模型体积可缩小4倍
裁剪策略：将输入分辨率从416×416降至320×320，可减少35%计算量
Alternativas:若设备不支持ViT，可尝试重写解码器改用MobileNetV3等轻量backbone
Otimização da memória:启用PyTorch的checkpointing机制，前向传播时选择性保留中间结果

实测数据：在Jetson Xavier NX上，量化后的ViT-B模型内存占用从1.2GB降至380MB。建议搭配TensorRT进一步优化，可将帧率从3FPS提升至8FPS。对于极低配设备，可考虑仅处理关键帧（每秒2-3帧）来平衡性能。