Solução técnica de otimização da borda da máscara
O SegAnyMo oferece uma solução de processamento em vários níveis para a irregularidade das bordas das máscaras de saída:
- Pós-processamento do SAM2::
- Modifique pred_iou_thresh em predictor.py no diretório sam2 (0.88-0.92 recomendado)
- Ativar o parâmetro -use_box_refine para otimização iterativa da caixa delimitadora
- fusão multimodal::
- Combinado com os recursos semânticos do DINOv2 (mapa de recursos no catálogo de dinos)
- Fusão de informações de profundidade de depth_anything_v2
- Votação multimodal via core/utils/fusion.py
- processamento morfológico::
- Adicionar a operação morphologyEx ao estágio de saída (requer modificação do core/utils/vis_utils.py)
- Núcleos elípticos 3×3 recomendados para expansão seguida de corrosão
Para bordas particularmente complexas (por exemplo, cabelos, objetos transparentes), recomenda-se 1) coletar dados especiais para ajuste fino; 2) aumentar o peso de edge_loss durante o treinamento; e 3) anotar manualmente um pequeno número de quadros-chave e, em seguida, executar a adaptação do modelo por meio do parâmetro -custom_train.
Essa resposta foi extraída do artigoSegAnyMo: uma ferramenta de código aberto para segmentar automaticamente objetos móveis arbitrários em vídeosO