ADD SAM2.1

[kyakuno]

SAM2.1のモデルをエクスポートする。
https://github.com/facebookresearch/sam2
エクスポートブランチ。
axinc-ai/segment-anything-2#7

[kyakuno]

SAM2.1では、add_tpos_enc_to_obj_ptrsがtrueになっている。
MemoryAttentionの入力の計算方法が変化する。

[kyakuno]

matserをブランチにマージしてONNXの変換は動作していそう。

[kyakuno]

変換スクリプト。

for MODE in hiera_t hiera_b+ hiera_s hiera_l
do
python3 export_image_predictor.py --model_id ${MODE}
python3 export_video_predictor.py --model_id ${MODE}
python3 model/onnx2prototxt.py model/image_encoder_${MODE}_2.1.onnx
python3 model/onnx2prototxt.py model/prompt_encoder_${MODE}_2.1.onnx
python3 model/onnx2prototxt.py model/mask_decoder_${MODE}_2.1.onnx
python3 model/onnx2prototxt.py model/memory_encoder_${MODE}_2.1.onnx
python3 model/onnx2prototxt.py model/mlp_${MODE}_2.1.onnx
python3 model/onnx2prototxt.py model/memory_attention_${MODE}_2.1.onnx
python3 model/onnx2prototxt.py model/obj_ptr_tpos_proj_${MODE}_2.1.onnx
done

[kyakuno]

SAM2

  add_tpos_enc_to_obj_ptrs: false

SAM2.1

  add_tpos_enc_to_obj_ptrs: true
  proj_tpos_enc_in_obj_ptrs: true

コード

SAM2

self.obj_ptr_tpos_proj = torch.nn.Identity()

SAM2.1

self.obj_ptr_tpos_proj = torch.nn.Linear(self.hidden_dim, self.mem_dim)

圧縮した過去フレーム情報であるobj_ptrsに対するposition_embeddingであるobj_posは、
SAM2では0ですが、SAM2.1では、sineによるposition_embeddingをprojectionした値になります。

[wep21]

@kyakuno 最新のsam2は最初のframe以外にもpromptを入力できそうなのですが、最新のvideo predictorをadaptすることは可能そうでしょうか？

[kyakuno]

@wep21 ONNX自体はモデルの全ての引数に対応しているため、下記のスクリプトに従って、add_new_points_or_boxなどを呼び出せば、内部ステートが更新されて、最初のframe以外にもrefinementのpromptを適用できるのではないかと考えています。
https://github.com/facebookresearch/sam2/blob/main/notebooks/video_predictor_example.ipynb