fine-tuning Cohere

Effectuez le fine-tuning de modèles Cohere avec le suivi des expériences de W&B afin de consigner les métriques d’entraînement et de surveiller les performances du modèle.

Avec W&B, vous pouvez consigner les métriques et la configuration du fine-tuning de votre modèle Cohere afin d’analyser les performances du modèle et de partager les résultats avec vos collègues. Connectez un run de fine-tuning Cohere à un projet W&B, et W&B capture automatiquement les métriques d’entraînement et de validation, les hyperparamètres et les métadonnées du run dans votre espace de travail. Utilisez ce guide si vous effectuez déjà le fine-tuning de modèles Cohere et souhaitez centraliser le suivi des expériences.

Pour obtenir un exemple complet de démarrage d’un run de fine-tuning, voir le guide de fine-tuning Cohere et se référer à la référence de l’API Cohere pour le paramètre wandb.

Journalisez les résultats du fine-tuning Cohere

Pour ajouter la journalisation du fine-tuning Cohere à votre espace de travail W&B, procédez comme suit :

1. Créez un WandbConfig avec votre clé API W&B, votre entity W&B et le nom du project. La clé API authentifie le job Cohere auprès de W&B, et l’entité ainsi que le projet déterminent l’emplacement où W&B journalise vos runs. Créez une clé API dans vos Paramètres utilisateur W&B. Remplacez <wandb-api-key> dans l’exemple suivant par votre clé API.

2. Passez cette configuration à l’objet FinetunedModel, avec le nom de votre modèle, le jeu de données et les hyperparamètres, pour démarrer votre run de fine-tuning. Le paramètre wandb configure Cohere pour transmettre les métriques à votre projet W&B pendant le run.

   from cohere.finetuning import WandbConfig, FinetunedModel
   
   # créez une configuration avec vos informations W&B
   wandb_ft_config = WandbConfig(
       api_key="<wandb-api-key>",
       entity="my-entity", # doit être une entité valide associée à la clé API fournie
       project="cohere-ft",
   )
   
   ...  # configurez vos jeux de données et hyperparamètres
   
   # démarrez un run de fine-tuning sur cohere
   cmd_r_finetune = co.finetuning.create_finetuned_model(
     request=FinetunedModel(
       name="command-r-ft",
       settings=Settings(
         base_model=...
         dataset_id=...
         hyperparameters=...
         wandb=wandb_ft_config  # passez votre configuration W&B ici
       ),
     ),
   )
   

3. Consultez les métriques d’entraînement et de validation du fine-tuning de votre modèle, ainsi que les hyperparamètres, dans le projet W&B que vous avez créé.

   

Une fois le run démarré, votre job de fine-tuning Cohere transmet les métriques à W&B en temps réel, ce qui vous offre un emplacement unique pour comparer les runs et inspecter la progression de l’entraînement.

Organiser les runs

W&B organise automatiquement vos runs. Vous pouvez les filtrer et les trier selon n’importe quel paramètre de configuration, comme le type de job, le modèle de base, le taux d’apprentissage et tout autre hyperparamètre.

Vous pouvez également renommer vos runs, ajouter des notes ou créer des tags pour les regrouper.

Ressources

Pour un exemple complet, voir le notebook d’exemple de fine-tuning Cohere.