Revoir le système de notation des tests

[KorHosik]

Bonjour tout le monde les gens !

Depuis quelques temps, l'idée de refondre le système de notation des tests me traverse l'esprit.

Une note sur 20, c'est jolie, c'est pratique, mais ça veut tout et rien dire : comment un testeur peut réellement savoir si tel ou tel critère du jeu vaut 14 ou 14.5 ?
De plus, la note globale est pour certain une moyenne arithmétique de tous les critères, pour d'autre une toute autre note bien distincte...

Chacun y va à sa petite manière, c'est un peu le grand foutoir et au final, un jeu qui a obtenu 15/20 peut parfaitement être aussi bien qu'un autre ayant obtenu 17.

En bref, ça ne me plait pas

Certain sont d'avis, moi y compris, de supprimer purement et simplement les notes des tests. C'est peut-être un peu violent, car ça peut permettre de se faire une idée rapide de la qualité du jeu malgré tout...

Alors comment faire ?
On conserve ce système de notation avec tous les défauts qu'il comprend ?
On vire tout, au risque de perdre les habitués aux tests notés ?
On fait un système d'images de rang (genre un Goomba signifie un jeu moyen, un champignon un bon jeu et une étoile un jeu excellent, ou un truc du genre) ?

Enfin voilà, j'ai envie de modifier un peu tout ça (vive le boulot qui va se répercuter derrière \o/) et j'ai besoin de votre avis .

[MaxDoc]

Oui, je pense que ce serait une bonne idée de changer le système de notes d'un jeu.
Je ne suis pas vraiment pour supprimer totalement la notation d'un test, mais plutôt pour le système de rang imagé. Je pense que ce serait une bonne idée, et que ça permettrait d'avoir une bonne idée de l'avis de l'auteur sur le jeu, et de la qualité du jeu en lui même.

Parce que, bon les notes sur 20, c'est vrai que tout le monde notait un peu d'une manière différente, et les notes d'un jeu était très approximatives au final.

Oui franchement, je pense que c'est une bonne idée de changer le système de notation. Après, on verra bien ce que donnera le sondage, mais moi je suis pour en tout cas.

[War']

Je suis 100% pour le système des rangs imagés. Ca conserve les qualités des notes et ça en supprime les défauts. Parfait, donc.

[Meuh]

Je n'y avais pas du tout pensé, mais maintenant que tu le proposes, le système des rangs est une excellente idée. Bon, ça reste quand même une note, mais comme elle sera sur une échelle plus limitée et qu'elle sera plus imagée, ça sera une indication claire de la qualité d'un jeu pour ceux qui n'ont pas envie de lire le test ou même la conclusion (ce qui est une très mauvaise idée, mais bon), sans pour autant être un chiffre tellement précis qu'il en perd tout son sens. Et ça permettra effectivement de mettre tout le monde d'accord sur le sens de la note finale.

Bref, comme le dit War', ça permet de garder les avantage du système de notation sans en garder les défauts. On ne se posera plus la question de savoir si on met un 13 ou un 14 (ce qui n'a en fait aucune importance), on pourra directement choisir le rang qui convient à notre feeling général, ce qui sera beaucoup plus facile et beaucoup plus clair. Ça devrait bien le faire.

Bon par contre, comme toi, j'ai peur du boulot derrière, surtout pour convertir les anciens tests si ce système est adopté .

[Madi]

Moi aussi je suis à 100% pour le système de rang, pour toutes les raisons qui ont déjà étés citées ( C'est bête, maintenant je peut rien ajouter XD )

[fantôme de Masterio]

Non.
Je ne vois pas en quoi les rangs régleraient le problème. Au contraire, cela en apporterait d'autres. Déjà, un problème de clarté: C'est justement ce qu'on veut corriger, mais ça va l'aggraver. Par exemple, Kor' a mis 17,75 à Super MachinBidule, ce qui signifie qu'en rang, cela correspond à... disons l'étoile par exemple, le rang le plus élevé quoi. Or, Kor' a mis 19,5 a Megatrucchouette, ce qui signifie donc qu'il est meilleur que Super Machinbidule. Sauf qu'il n'existe pas de rang plus élevé! Donc, si on regarde le rang final, Super Machinbidule et Méga Trucchouette sont à égalité, alors que la note met Mégatrucchouette (il me fait bien envie ce jeu, tiens!) au dessus de Super Machinbidule.
On pourrait arranger ça avec une vingtaine des rangs, mais ce serait compliqué de tout mémoriser: "en dessous d'étoile il y a... Mario. A moins qu'étoile soit en dessous de Mario. Et aussi de Luigi. Ah non, je suis bête, entre Mario et Luigi y a Wario. Quoi? Wario est 5 rangs plus bas? Ou en étais-je... Ah oui, a l'arc-en ciel en dessous de Mario et de heu... Wario. Et au dessus de Luigi. A moins qu'elle soit au dessus?". Bref, c'est pas l'idéal.
Ensuite, un problème des notes s'applique aussi aux rangs: comment untel saura t'il si les musiques de ce jeu valent champignon ou fleur de feu? Ce problème s'applique plus si on a beaucoup de rangs que peu de rangs. Du coup, il faudra faire peu de rangs. Sauf qu'on se heurte au premier problème.
Et enfin, sur cette page: (http://mariouniversalis.no-ip.org/tests ... eturns.htm), il y'a un problème. En effet comment veux-tu mettre une image dans un bouton du genre de : 19/20 par War'?
Et puis, il y a un moyen de remédier à toutes ces contraintes en gardant les notes: inclure dans le tuto un passage obligeant les gens à faire un note qui n'est pas la moyenne des différents critères est un bon exemple de contre- défaut. Et pour la note de 14 ou 14,5, c'est quand même pas dramatique . Le plus important est la note finale, et puis bon... Peu importe qu'une bande-son soit notée 18 ou 19, ce qui compte c'est la note finale! Et surtout, n'oublie pas que tout est une question d'avis: quand tu dis "jeu 15 blablabla aussi bon que jeu 17 blablabla", n'oublie pas que cette notion est subjective ( Sheika a donné 8 à MKWII et Toi 10 points de plus!).

En conclusion, pour moi on garde les notes.

[Madi]

Non mais les rangs ne sont pas équivalent au notes.
Ils sont équivalents à ce qu'on ressent en jouant au jeu, par exemple :

- Moyen - Bien - Excellent -

Ils ne sont pas sensés être équivalent à des notes. Certes faire la conversion va être difficile ( A moins de demander aux testeurs de choisir le rang ? )
Même si l'un a une meilleure note que l'autre, les deux sont excellents. C'est pas grave.

Et puis Masterio, le bouton dans l'image t'a qu'à mettre " Noté Champignon par Blablabla " par exemple. Pas forcé de mettre l'image dans le bouton >> ( Au pire c'est pas dur avec un logiciel graphique )

[MaxDoc]

Oui, mais demander aux testeurs de choisir le rangs ne serait pas évident non plus, car certains ne passent plus sur le site. Après, pour ceux qui passent toujours sur le site, il serait possible de leur demander, mais ça risque de peut_être de compliquer un peu vis--vis des autres tests...

[Madi]

Enfin bref. L'important n'est pas la conversion notes-rangs, car selon ce que j'ai compris ce n'est PAS sensé être une conversion de la note au rang. A près du coup, difficile pour ceux qui ne passent plus, à moins de supprimer carrément les tests ( Oh seigneur, non ! )

[MaxDoc]

Non, il ne faudrait pas en arriver à cet extrémité quand même !
De toute façon,tu as raison Mad, les rangs ne seront pas à proprement proprement parlé une conversion de chaque note, mais au contraire un moyen d'exprimer plus clairement ce que l'on pense du jeu testé.

[Agent]

Perso le système actuel de notes sur 20 me plaît, mais c'est vrai que ce serait mieux de mettre des rangs pour avoir moins de choix mais des choix plus clairs. Par contre le seul problème c'est qu'il y a déjà beaucoup de tests notés sur 20, donc à moins qu'on ne change rien de ce côté et qu'on se retrouve avec deux systèmes de notation différents, ça risque pas d'être pratique. Et puis même si on convertit toutes les notes en rang, quelqu'un peut très bien mettre 14/20 pour un "Très bon" jeu alors que quelqu'un d'autre met 16/20 pour un "Bon" jeu, on est pas tous aussi sévères dans nos tests.

[KorHosik]

Le but n'est pas de remplacer les notes par un système équivalent, mais de les remplacer par un système meilleur.

Dans ton exemple, Masterio, tu parles d'un jeu qui a 17,75 et un autre 19,5. Avec le système des notes actuelles, on en déduit que l'un est meilleur que l'autre. Pourtant, deux jeux ne proposent pas forcément la même expérience. Par exemple, il est ridicule de dire que Super Smash Bros est meilleur que Super Mario Galaxy, puisque les deux n'ont rien à voir.

Je pense qu'on ne peut pas dire qu'un jeu est meilleur qu'un autre, il propose juste une expérience de jeu différente, plus ou moins appréciable, et c'est ceci qu'il faut évaluer je pense.

Se pose en effet le problème de la signification des rangs : il faudrait en faire très peu, 5 grand maximum, 3 dans l'idéal.

Après, pour l'appliquer aux anciens tests, ça va être bonbon, mais on peut très bien penser que si un test a eu moins de 12, l'expérience de jeu n'est "pas bonne", entre 12 et 16 elle est "bonne" et au-dessus "très bonne". M'enfin, là n'est pas le soucis pour l'instant, avant de s'attaquer à ça faut déjà se mettre d'accord sur le système à mettre en place .

(puis on peut très bien mettre une image dans un bouton hein : <button><img src="lien_vers_mon_image" alt="" /></button> )

Ha oui, aussi, si vous avez une idée trop géniale que personne il a pensé avant vous, n'hésitez pas !

EDIT : Agent, tu soulignes un autre problème, celui de la sévérité du testeur. Un bon jeu peut valoir 14 pour l'un et 16 pour l'autre, ce qui agave le problème du "les notes ne veulent pas dire grand chose !"
Avec le système de rangs ne proposant que "mauvaise expérience de jeu", "bonne expérience de jeu" ou "excellente expérience de jeu", ça sera déjà plus clair pour tout le monde je crois ^^ .

[Dé-Mainiaque]

Ouaip des rangs imagés c'est trop la classe.
Le système des notes est pas mal non plus, je l'aime bien et ça permet de voir si tel jeu est bien ou pas.

[Agent]

Oui enfin ce problème se répète aussi s'il faut convertir les notes des testeurs en niveau d'appréciation, parce que ça risque de laisser quelques incohérences un peu partout.

[Meuh]

Non mais arrêtez de penser en terme de conversion du système actuel vers le système futur .

On vous demande votre avis sur ce que vous voudriez voir pour les futurs tests. Oui, il faudra soit convertir les anciens tests, soit les laisser dans le système actuel et imposer le nouveau aux tests créés après. Mais ce n'est franchement pas le problème le plus important : pour l'instant, ce qu'on veut, c'est décider du système en question, et la conversion depuis l'ancien ne devrait pas être un facteur de décision là dedans.

[fantôme de Masterio]

Euh, Kor', 3 rangs, c'est vraiment trop peu! Je propose qu'on fasse le rang goomba+ ou Mario- pour pouvoir nuancer nos choix. (Exemple: Etoile= Sper jeu, Etoile+= Excellent jeu, Etoile-= Bon jeu).
Mais bon, il faudra que le système soit finalement pris, et je pense qu'il sera pris. Comptez plus sur moi pour faire des tests après par contre, je ferai des dons (et je vous donne encore une raison pour le choisir...)

[Seriugh]

Moi, les deux me vont. C'est vrai que les notes sont parfois faussées par des membres plus ou moins sévères, mais les notes sont faites quand même avant tout pour donner un aperçu si on a pas le temps de lire le test. le test est tout de même plus important que la note, donc si on veut vraiment avoir une idée du jeu, c'est le test qu'il faut lire, et pas seulement jeter un coup d'oeil à la note. Donc les notes peuvent peut-être varier de 2 à 3 points selon les testeurs, mais elles permettent quand même de donner un bon aperçu de la qualité ou non du jeu : un bon jeu aura toujours au moins 16-17, un jeu moyen n'aura jamais plus de 16, et un mauvais jeu, même pour des testeurs très sympa, n'aura jamais une bonne note. Pour moi, c'est à ça que servent les notes, à voir en gros si ça vaut le coup ou pas, si le jeu a 10, mieux vaut ne pas l'acheter, par contre si il a 18, même avec quelqu'un d'excessivement sympa, le jeu ne peut pas être si mauvais que ça. Et en plus les différences entre les testeurs sont un peu gommées par la relecture des tests par les modos : si un membre a vraiment saqué un jeu, les modos, j'imagine lui diront de relever un peu sa note.
Pour moi, le système de note remplit donc très bien son rôle.
Après un système de rangs peut être sympa, à condition qu'il soit compréhensible : plutôt que de mettre Goomba, Mario, Etoile, CHampignon, auquel cas on aurait besoin de connaitre la hiérarchie des rangs, ce qui serait peu attirant pour des gens qui souhaitent découvrir Mario et qui ne connaissent donc pas bien son univers, il faudrait plutôt mettre juste un nombre d'étoiles, comme pour les astuces.
Donc voilà mon avis, si vous voulez changer, pourquoi pas, même si moi le système de notes actuel me va, mais prenez en compte les nouveaux et ceux qui ne connaissent pas Mario : il faut que le rang attribué soit évident.

[Meuh]

Masterio et Seriugh : Il ne s'agissait que d'un exemple, si ce système est adopté on y réfléchira évidemment plus longuement, pour qu'il y en ait ni trop ni pas assez de rangs, et pour qu'ils soient compréhensibles par tous sans avoir besoin de connaitre la hierarchie. Ça, ce sont des détails qui peuvent être facilement réglés plus tard, ici on parle du principe de manière générale

Seriugh, de ce que j'en comprends, tu dis que le système de note permet d'évaluer la qualité d'un jeu et de savoir s'il vaut le coup ou pas. Le système de rang permettra aussi tout à fait de faire ça, sauf que ce sera beaucoup plus clair pour les lecteurs qui n'auront plus à se demander si pour le rédacteur, 16/20 est une bonne note, une très bonne note ou une excellente note.

Masterio, refuser de faire de nouveaux tests si ce système est mis en place, permets-moi de te dire que c'est juste complétement idiot. On ne parle que de la notation, pour le reste il n'y aura rien d'imposé, ce sera exactement pareil qu'avant. Ça ne va pas non plus bouleverser la façon de rédiger des tests, à mon sens.

[Seriugh]

Ben oui, c'est ce que je dis, que la note peut varier selon le testeur, et que donc elle n'est pas super précise, mais le lecteur pourra se poser les mêmes questions avec les rangs : rang Mario, ça fait combien sur 20 en gros ? Un jeu très bien, ça veut dire quoi pour le rédacteur ? Ca ferait quelle note si c'était sur 20 ?
Je pense qu'on pourrait se poser le même type de question, et qu'en plus, comme la plupart des membres sont au collège, au lycée, en prépa ou en études supérieures, l'esprit de note est très présent, et permet de se donner une idée. On est toujours un peu frustré, désorienté, quand il n'y a pas de note, seulement une appréciation. Une note est quelque chose de clair, de concret.
Après, je dis ça, je ne suis pas du tout hostile au changement, au contraire, j'aime bien la nouveauté, donc faites ce que vous voulez, mais je trouve que les notes, même si ce n'est pas hyper précis, c'est pas mal, parce qu'un système de rang avec Moyen-bien-très bien-excellent, ça l'est encore moins et ce n'est pas très concret. Et puis le problème de précision se règle très facilement : il suffit de lire le test pour voir ce que ça veut dire 16/20 ou rang champignon pour le testeur. En fait c'est pour ça que je ne m'oppose pas au changement : dans tous les cas, si on veut une bonne idée du jeu, il faut lire le test, donc ce n'est pas grave si la note, qu'elle soit en rang ou sur 20, n'est pas hyper précise.

[KorHosik]

Je vois où tu veux en venir, et ce n'est pas faux du tout.

Le principal soucis, c'est que bon nombre de visiteurs sont encore plus fainéants que les admins et ne prennent pas le temps de lire les tests, ou alors ils le survolent. Un test efficace, c'est un test dont on puisse comprendre le ressenti juste en lisant l'intro, la conclusion... et la "note" finale ^^

Il est vrai que le principal type de visiteurs de MU sont les étudiants, qui sont ancrés dans les notes. Au pire, on pourrait mettre une légende en évidence quelque part, pour dire que tel rang pourrait signifier une note entre 16 et 20, par exemple.

Je rappelle juste que ce n'est plus trop le jeu qu'il faudrait noter (enfin selon moi), mais l'expérience qu'il nous offre, ce qui peut paraitre subtile c'est vrai .

En tout cas, merci pour ton avis constructif .