Aller au contenu
Guides
ENOuvrir le Studio

Tester et comprendre

Comparer dans AI Lab

Évaluez une modification face à une référence, avec des critères choisis à l’avance.

3 min de lecture · 6 sections
Sommaire de ce guide

Utiliser AI Lab comme espace d’expérimentation

AI Lab aide à organiser une recherche autour d’une stratégie et d’un résultat de référence. Le but est de choisir une expérience explicable : comprendre des pertes, étudier une variante ou comparer un contexte de marché lorsque ces actions sont proposées.

Une proposition mérite un test parce qu’elle répond à une question précise. Elle ne devient pas une amélioration démontrée simplement parce qu’elle est suggérée par une réponse IA ou qu’elle obtient le meilleur résultat sur une seule période.

Préparer une référence exploitable

Vérifiez que la stratégie est enregistrée, que des données sont associées et que le backtest de référence correspond à la version souhaitée. Relisez les dates, les coûts et le nombre de trades avant de demander une comparaison.

Si vous avez modifié la stratégie depuis le dernier test, commencez par remettre à jour la référence. Sinon, vous risquez d’attribuer à une variante une différence qui vient simplement d’un autre état de départ.

Définir l’objectif avant l’expérience

ObjectifExemple de questionCompromis à surveiller
Comprendre les pertesSont-elles concentrées dans un contexte précis ?Nombre d’observations par groupe
Réduire le reculUn filtre limite-t-il certaines séries de pertes ?Gains et opportunités également supprimés
SimplifierUne condition est-elle réellement utile ?Comportement sur une autre période
Étudier les coûtsLe signal conserve-t-il un intérêt avec davantage de frais ?Écart au résultat de référence

Choisissez un critère principal et quelques critères de contrôle. Chercher à maximiser simultanément toutes les métriques rend la décision difficile à expliquer.

Construire une comparaison propre

  1. Nommez l’hypothèse et la version de référence.
  2. Définissez un seul changement ou un ensemble limité de valeurs.
  3. Gardez les données et les coûts identiques pour la première comparaison.
  4. Relevez résultat net, drawdown et nombre de trades.
  5. Examinez les opérations responsables de la différence.
  6. Contrôlez la variante retenue sur une période distincte.
Exemple de prompt
Propose une expérience pour réduire la concentration des pertes.
Garde la référence intacte et décris une seule variante.
Précise le changement, son effet attendu et ce qui ferait rejeter l’idée.
Compare résultat net, drawdown, nombre de trades et répartition des pertes.
Sépare les résultats mesurés des éléments qui restent à tester.

Lire une amélioration avec prudence

Une variante peut afficher plus de gain avec davantage de risque, ou moins de recul avec beaucoup moins d’opérations. Présentez cette différence comme un compromis. Une métrique isolée ne permet pas de décider à votre place.

Méfiez-vous d’un réglage très précis qui fonctionne uniquement à une valeur et se dégrade fortement autour. Examiner quelques valeurs voisines aide à voir si l’observation est étroite. Cela ne garantit pas pour autant qu’elle se maintiendra sur de nouvelles données.

Conserver les essais et décider

Texte
Hypothèse : filtre horaire.
Décision : à retenir / à rejeter / informations insuffisantes.
Motif : chiffres du rapport et compromis constaté.
Contrôle restant : autre période, coûts ou échantillon plus large.

Utilisez ensuite Stress test pour étudier des hypothèses défavorables et Analyses pour approfondir la lecture des résultats.

Rechercher dans les guides