Utilisation de huggingface pour les LLM

avec “hugingface tools” il n y a pas de problème pour réaliser un fine tuning du modèle Mistral 7B

dans le code du modèle pytorch de mistral on peut voir que la classe Transformer possède un fonction forward_partial qui permet de récupérer un “embedding” de bonne qualité (test réalisé avec le modèle de base fourni par Mistral)

Malheureusement je ne sais pas réaliser un finetuning de ce modèle de base ni accéder au forward_partial dans le modèle huggingface

Merci si vous avez une idée brillante

Could you translate this post, please?