train_sft vs train_sft_seq2seq

[dtrckd]

Salutation vigognaise et vigonais,

Je me demande avec beaucoup de curiosité quelle sont les différences entre les deux approche de finetuning avec ou sans seq2seq transformation ? (train/train_sft.py et train/train_sft_seq2seq.py)

Avez-vous des entrées, intuition et ou benchmark qui discutent les différences entre les deux ?

[bofenghuang]

Le train_sft_seq2seq.py est initialement fait pour élargir les expérimentations, passant des modèles decoder-only comme llama aux encoder-decoder tel que le T5.

A présent, on se concentre davantage sur les modèles decoder-only, en raison de la disponibilité de modèles pré-entraînés plus puissants dans cette catégorie.

[dtrckd]

Ok, je vois merci pour la réponse :)