Comment une réponse est notée.

Ce qu'une seule réponse doit servir.

La conception évidente est une note unique : à quel point vous avez réussi, utilisée pour tout. Elle ne survit pas au contact des quatre questions que l'app doit réellement trancher, parce que ce ne sont pas la même question et qu'un seul nombre ne peut pas être juste pour toutes à la fois.

Deux de ces lignes lisent un nombre remisé et deux lisent le nombre brut, ce qui est la chose la plus déroutante de cette page et aussi la raison pour laquelle la conception tient. Une note répond à une question sur la réponse. Une planification répond à une question sur votre mémoire. Verser le même nombre dans les deux voudrait dire soit vous annoncer que vous avez faux alors que non, soit annoncer au planificateur qu'un tirage à la pièce était un rappel.

Les deux moitiés d'une note.

Une réponse notée traverse le moteur comme une paire, pas comme un scalaire (ItemScore, mastery/mod.rs). La moitié brute est celle qu'on vous montre. L'autre est celle qu'on montre au planificateur, et elle n'est jamais au-dessus de la première.

D'où vient le nombre brut

Neuf des quatorze formats sont notés sur votre appareil, de façon déterministe. Cinq ont besoin d'un modèle, parce qu'il n'y a pas moyen de comparer de la prose à de la prose sans.

D'où vient le nombre du planificateur

La note brute est plafonnée selon la part de ce format qu'on pourrait ramasser en devinant (chance_rate et clamp_fsrs_for_kind, mastery/mod.rs). Une formule, une entrée :

plafond = 1 − 0,5 × c

où c est la part de ce format qu'une réponse au hasard ramasse. Le raisonnement : un plafond doit représenter le maximum de preuve de durabilité qu'une bonne réponse de ce format peut porter, et la quantité qui le fixe est la part de cette réponse qui aurait pu être de la chance. Une note déjà sous son plafond n'est pas touchée, et la tentative stockée n'est jamais modifiée — seule la copie remise au planificateur l'est.

Deux lignes de ce tableau méritent leur propre phrase. Tout format où vous choisissez parmi ce qui est à l'écran plafonne à Good — du point de vue du planificateur, il n'existe pas de choix multiple parfait. Et la flashcard n'est pas plafonnée alors que son nombre est un auto-rapport, ce qui ressemble à un oubli et n'en est pas un : la plafonner serait la traiter comme un format de reconnaissance, ce qu'elle n'est pas — vous récupérez la réponse en mémoire avant de vous évaluer. Le problème d'une flashcard est que nous ne pouvons pas vérifier que vous l'avez fait ; c'est une question sur ce qu'elle doit être autorisée à certifier, pas sur le barreau qu'elle doit gagner, et elle figure dans les limites plus bas.

Quatre barreaux, et les cinq bandes où l'on tombe.

La note plafonnée devient un des quatre barreaux (grade_of). Séparément, une autre constante décide si la réponse compte comme une récupération réussie pour la durabilité (CORRECT_THRESHOLD, 0,80). Cette seconde ligne tombe à l'intérieur du troisième barreau : il y a donc quatre barreaux et cinq bandes.

La frontière de Easy est à 0,95 plutôt qu'à 0,90 exprès : avec une notation automatique, une réponse propre tombe constamment sur exactement 1,0, et une frontière plus basse combinée au gros bonus de Easy allonge trop les intervalles — ce qui se manifeste par des points qui cessent discrètement d'être révisés. C'est une décision de calibration, pas un résultat.

Ce qu'un barreau achète réellement.

Le planificateur garde deux nombres par point d'apprentissage : une stabilité, en gros le nombre de jours au bout duquel votre chance de le rappeler décroît jusqu'à la cible, et une difficulté, qui gouverne la vitesse à laquelle la stabilité peut grandir. Le barreau intervient à deux endroits.

• À la première récupération réussie, le barreau amorce les deux nombres. Laissées seules, les amorces valent 0,40, 1,18, 3,17 et 15,69 jours pour Again, Hard, Good et Easy. Elles sont ensuite ramenées à un jour sur un point fraîchement introduit (HOT_FIRST_INTERVAL_DAYS), parce qu'une notion rencontrée il y a quelques minutes se trouve sur la partie la plus raide de la courbe d'oubli et qu'un rappel juste après l'enseignement ne mérite pas un écart de deux semaines. Le barreau amorce quand même la difficulté, donc le signal est conservé et façonne tous les intervalles suivants — le premier intervalle est celui que l'app reprend à l'algorithme, et seulement le premier.
• À chaque révision ultérieure, le barreau met la croissance à l'échelle. La stabilité grandit d'un accroissement qui dépend de la difficulté courante, de la stabilité courante et de la probabilité que vous aviez de rappeler à ce moment-là — et cet accroissement est ensuite multiplié par 0,23 pour un Hard, 1 pour un Good et 2,99 pour un Easy (next_stability_recall).

Ce qui reste abstrait jusqu'à ce qu'on y mette des jours. Prenons un point à une stabilité d'un jour, révisé exactement quand il était dû — donc avec une probabilité de rappel de 0,90, ce qui est précisément ce que « dû » veut dire ici :

C'est tout le contenu de « un format facile compte moins pour votre planification », en deux lignes. Un appariement sans faute et une réponse tapée sans faute, sur le même point, le même jour, diffèrent d'un facteur d'environ deux et demi sur le moment où vous le reverrez — non parce que l'un est puni, mais parce que l'appariement pouvait être deviné à un cinquième et la réponse tapée non.

Un point, de sa première rencontre à sa deuxième révision.

Un seul point d'apprentissage — disons l'osmose — dans un cours dont l'objectif terminal le place à une cible de rétention de 0,90. Rien ici n'est illustratif : les nombres sont ceux que le moteur produit pour ces entrées.

Ce que ça n'achète pas.

Cinq de ces points sont de vraies lacunes et non de la modestie, et deux font encore l'objet d'un débat chez nous.

• Le nombre du juge n'a pas de calcul que nous puissions vous montrer. Pour les cinq formats qui ont besoin d'un modèle, tout ce qui se trouve en aval de la note sur cette page est exact et auditable, et la note elle-même est le jugement d'un modèle. Nous pouvons vous dire qu'elle est attribuée par soumission sur son propre texte, qu'elle vient toujours avec une explication, et que la même réponse renotée peut ne pas retomber sur le même nombre. Nous ne pouvons pas montrer de formule, parce qu'il n'y en a pas.
• Nous connaissons le sens d'une correction, pas sa taille. Plusieurs exercices sur un point dans une même session sont désormais combinés en une seule observation, au lieu d'être gardés-le-premier-et-jetés : c'est la réparation que cette page annonçait. La combinaison fait délibérément compter chaque réponse supplémentaire sur le même point un peu moins que la précédente. Cette forme n'est pas une préférence : en théorie des tests, un paquet d'items qui partagent un objet s'appelle un « testlet », et la conséquence mesurée de traiter un tel paquet comme des réponses indépendantes est que la valeur ressort à peu près juste alors que la précision ressort surestimée. Nos deux nombres se séparent exactement sur cette ligne — le barreau et l'intervalle sont la moitié robuste, le total de preuve est la moitié qui serait gonflée. L'escompte corrige donc un biais dont le sens est établi. Sa grandeur ne l'est pas : la façon publiée de mesurer un effet de testlet est de l'estimer sur une population d'apprenants répondant aux mêmes items, et une app privée à un seul apprenant n'a pas cette population. Nous utilisons un taux fixe emprunté à la littérature voisine, et nous préférons le dire plutôt que laisser croire que nous l'avons mesuré.
• Les plafonds sont principiels dans leur forme et approximatifs dans leur taille. Que le plafond d'un format baisse quand son taux de hasard monte est un argument. Que le coefficient soit un demi est un cran de calibration. Ce que nous défendons est l'ordre des plafonds, épinglé par un test ; les valeurs absolues attendent une revue contre des réponses réelles.
• Il n'y a aucune difficulté par question. Rien dans l'app ne sait qu'une question sur un point est plus dure qu'une autre. La seule difficulté du moteur appartient au modèle de mémoire et décrit le point, pas l'item. Deux questions de dureté très différente sur le même point produisent donc des notes que le planificateur lit à l'identique.
• Un format n'est pas vérifiable du tout, et nous n'avons pas fini de décider ce que ça doit lui coûter. Une flashcard est notée par le bouton que vous pressez. C'est un format réellement exigeant — il faut produire la réponse avant de pouvoir s'évaluer — et c'est aussi le seul endroit où une auto-évaluation généreuse allonge vos propres intervalles. Ce qui la borne aujourd'hui est seulement qu'un « Easy » auto-déclaré amorce une stabilité inférieure au seuil de durabilité, donc il ne peut pas atteindre « maîtrisé » à lui seul. Savoir si elle doit compter du tout pour la durabilité est une question ouverte, et elle est de notre ressort, pas de celui de l'algorithme.
• La confiance que vous déclarez est collectée et inutilisée. Certains exercices demandent à quel point vous étiez sûr. C'est stocké, c'est mis en regard du résultat sur l'exercice auquel vous venez de répondre, et aucune décision ne le lit. C'est le seul signal de l'app qui distingue deux personnes ayant la même note — réussir en étant certain et réussir en devinant sont identiques par ailleurs — et pour l'instant nous ne le dépensons pas. Soit il est branché sur quelque chose, soit il faut cesser de le demander.
• La ligne à 0,80 est la nôtre, pas un résultat. L'endroit où tombe « ceci compte comme une récupération réussie » est une décision sur la sévérité de notre affirmation de durabilité. Elle n'est dérivée de rien, et elle se situe à l'intérieur d'une bande de barreau plutôt que sur une frontière — ce qui explique que la première question de la liste ci-dessous soit la première que tout le monde pose.

Questions.

Sources.

Ce que chacune fait ici, pour que vous puissiez rattacher chaque affirmation à son travail d'origine. Ce sont toutes des publications que vous pouvez aller consulter.

• Ye, J., Su, J., & Cao, Y. (2022). A stochastic shortest path algorithm for optimizing spaced repetition scheduling. Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, 4381–4390.

  L'article primaire derrière le planificateur décrit sur cette page, déployé à grande échelle sur des millions de journaux de révision. Son objectif d'optimisation est énoncé par les auteurs eux-mêmes — « minimiser le coût de mémorisation pour former une mémoire à long terme » — et leur algorithme porte ce nom. Un planificateur de cette famille ne maximise donc pas ce dont vous vous souvenez : il minimise la quantité de révision nécessaire pour tenir une cible de rétention choisie. C'est pour ça qu'une note est ici une mesure et pas une récompense. C'est aussi de là que vient la notion de difficulté du moteur, et cette difficulté décrit un état de mémoire, pas la dureté d'une question.

• Rowland, C. A. (2014). The effect of testing versus restudy on retention: A meta-analytic review of the testing effect. Psychological Bulletin, 140(6), 1432–1463.

  Pourquoi les formats où vous produisez la réponse ne sont pas plafonnés alors que ceux où vous la choisissez le sont. Le format du test initial modère l'ampleur du bénéfice : produire une réponse fait mieux que la reconnaître. Nous ne citons cet article que pour cet ordre.

• Kang, S. H. K., McDermott, K. B., & Roediger, H. L. (2007). Test format and corrective feedback modify the effect of testing on long-term retention. European Journal of Cognitive Psychology, 19(4–5), 528–558.

  La condition qui décide du sens de cet ordre, et la raison pour laquelle il va dans le nôtre : avec un retour correctif, la réponse construite dépasse le choix multiple ; sans retour, c'est l'inverse. Ignia renvoie toujours un retour, ce qui nous place dans la première branche — et signifie que le jour où un format cesse de s'expliquer, son classement s'inverse.

• Carlson, J. E., & von Davier, M. (2017). Item response theory. In R. E. Bennett & M. von Davier (Eds.), Advancing Human Assessment: The Methodological, Psychometric, and Policy Contributions of ETS (pp. 133–178). Springer. Accès libre.

  D'où vient le nom de ce qu'une session fait à un point, et où la conséquence est rapportée. Un ensemble d'items qui partagent un même objet s'appelle un « testlet », et ses réponses ne sont pas indépendantes. Le chapitre consigne ce qui arrive quand on ignore cette dépendance : Wainer et Wang, sur des données TOEFL, trouvent la difficulté bien estimée dans les deux cas, alors que le pouvoir discriminant et le plancher de hasard sont biaisés ; Bradlow, Wainer et Wang trouvent que le biais de précision qui en résulte dépend de la composition du paquet ; Li et ses collègues trouvent peu de différence sur les estimations et davantage sur l'information. Ce partage — valeur robuste, précision surestimée — est la raison pour laquelle la quantité de preuve est escomptée et la note ne l'est pas. Nous nommons cette revue plutôt que les trois études parce que c'est le texte que nous avons lu.

• Pelánek, R. (2016). Applications of the Elo rating system in adaptive educational systems. Computers & Education, 98, 169–179.

  D'où vient la forme de l'escompte : un poids de mise à jour qui décroît à mesure que le nombre de réponses augmente, ajusté sur les données réelles d'un système. Nous empruntons la fonction, pas le modèle — le modèle auquel elle appartient exige une valeur de difficulté par question, que nous n'avons pas, et une population d'apprenants sur les mêmes items, qu'une app privée et solo ne peut pas produire. Le taux que nous utilisons est donc une constante importée, et c'est une limite énoncée sur cette page plutôt que cachée dedans.

• Wilson, R. C., Shenhav, A., Straccia, M., & Cohen, J. D. (2019). The eighty five percent rule for optimal learning. Nature Communications, 10, 4646.

  Ici comme la règle que l'app N'APPLIQUE PAS, parce que c'est la page où l'on voit pourquoi. Elle est dérivée pour des tâches à deux choix dont la difficulté se règle en continu. Les plafonds ci-dessous existent précisément parce que 85 % sur un vrai/faux et 85 % sur une réponse tapée ne sont pas la même preuve : un taux de réussite cible unique n'a donc rien à quoi s'accrocher.

Vous y trouverez des tailles d'effet. Nous ne les imprimons délibérément pas sur cette page : une moyenne entre études ne prédit pas ce qu'une personne obtiendra, et un chiffre cité sans ses conditions se lit comme plus précis qu'il n'est. Dans les articles, il vient avec ces conditions.