IPB
X   Message
(Message automatiquement fermé dans 2 secondes)

Bienvenue invité ( Connexion | Inscription )

 
Reply to this topicStart new topic
[Tutorial] Réaliser des tests ABX (double aveugle) pour vos fichiers numériques, pour comparer sans biais: lossy vs. lossless, 16/44 vs. 24/96, etc...
Headphone Geek
posté 12/07/2010, 00:45
Message #1


GMP3 Fan
****

Groupe : Membres
Messages : 1484
Inscrit : 30/10/08
Lieu : The Dark Side of the Moon
Membre no 45965



Bonjour à tous !

Là où il est relativement difficile de réaliser des tests ABX pour du matériel audio:
- recours à des switchs.
- besoin de différents appareils (parfois en double).
- achat d'un sonomètre précis pour tout calibrer.
- souvent nécéssaire d'être à plusieurs personnes.
- etc.

Il est par contre aisé de vous adonner à ce type d'exercice pour vos fichiers numérisés ; chez vous, tranquillement posés derrière votre ordinateur.
La méthode que je vous propose n'est bien sûr pas la seule mais elle me paraît particulièrement simple et efficace.

1) Télécharger (gratuitement) le player Foobar2000 (le lecteur audio ultime AMHA) à cette adresse.
2) Installer la version "full" (ou faites attention à sélectionner le module "ABX comparator", le cas échéant).
3) Lancer le player et y charger les morceaux que vous voulez comparer.
4) Sélectionner les deux morceaux en les mettant en surbrillance.
5) Faites "click droit" et sélectionner dans les options "Utilities" > "ABX two tracks".
6) Décocher la case DSP et cocher la case "Use ReplayGain" *

* Ceci normalisera les deux fichiers pour être sûr qu'ils aient un volume sonore par défaut rigoureusement identique.
En effet, il arrive que lors du transcodage (surtout avec des logiciels tels que iTunes) le fichier transcodé présente un volume un poil différent.
Cela peut se jouer à moins de 1dB mais c'est suffisant pour fausser le test ABX.
En effet, avec une très grande concentration, l'oreille humaine est capable de déceler des variations d'intensité de l'ordre de 0,15dB.
En général, le composant/le fichier qui sonne le plus fort sera invariablement désigné comme le meilleur: il paraîtra plus clair et plus dynamique.
=> D'où l'importance primordiale de la normalisation (on a recours à un sonomètre dans le cas de platines CD, d'amplis, etc.)


Mais qu'est ce qu'un ABX ?
Je vous renvoie à l'article Wikipédia (en anglais) pour une description complète.

En gros, ce genre de test est extrêmement utile pour tester votre pouvoir de discernement sur le plan auditif.

A quoi ça sert?

Imaginons que vous ne sachiez pas dans quel format encoder vos fichiers pour votre baladeur tout neuf...
Certains (ne jurant que par le FLAC) vous diront que le lossy (MP3, AAC, etc...) est une insulte pour la musique, d'autres vous diront que le MP3, avec les nouveaux encodeurs, même à 128 kbps est parfaitement transparent (indifférenciable du même morceau sur le CD original), d'autres encore vous diront que tout celà est très variable (et j'en fais partie), et au final vous ne savez plus "à quel Saint vous vouer"...

De plus, vous pouvez avoir l'impression qu'un débit d'encodage plus élevé sonne beaucoup mieux... Et puis, un peu plus tard, de ne plus être capable d'entendre la différence.

Bref, dans ce genre de situations l'ABX prend tout son sens.
En effet, vous ne savez pas "qui est qui".
Ceci permet de coutourner le pouvoir de suggestibilité (qui est très fort).

Je vous explique:
Imaginons que vous compariez un fichier PCM original (provenant d'un de vos CD) encodé par vos soins en wav (le format "conteneur"), qui fait donc 1411 kbps (pour un CD audio standard 16bit/44,1 kHz) à son équivalent transcodé en MP3 (via la dernière version de LAME par exemple - le nec plus ultra des encodeurs MP3 actuels).

Il est très probable que:

- si le morceau n'est pas très complexe.
- si le matos de resitution n'est pas dément (très onéreux)
- si vous n'êtes pas über entrainé à détecter le moindre artéfact de compression.

Vous n'entendiez objectivement aucune différence.

Maintenant, le cerveau modifie sa perception en fonction de ce qu'il sait et de ce qu'il voit.
On appelle ça les biais, le pouvoir de suggestibilité ou encore l'effet placébo.

En effet, rien que le fait de voir que le débit d'un fichier est plus de 10 fois supérieur à l'autre influencera indéniablement votre perception.
"Le wav doit forcément être meilleur enfin, il ne peut en être autrement".
L'on peut encore rajouter à ça l'orgueuil (surtout pour un "audiophile") qui pousse à se dire qu'on doit forcément pouvoir entendre la différence, que l'on a pas une audition "défaillante", etc...

Le truc c'est qu'en pratique, un algorithme de compression fait son taf intelligemment et qu'avec les derniers encodeurs, et surtout les derniers formats (je pense plus particulièrement au AAC), la différence entre un fichier lossy encodé à débit moyen et son équivalent lossless est très ténue voire souvent inaudible, et ce même avec une oreille entraînée et du matos de très haute fidélité.


Pour en revenir au test ABX strictu senso, voici comment ça marche:

Après avoir clické sur "OK" (à la fin des 6 étapes décrites ci-dessus), la fenêtre du comparateur s'ouvrira.
Vous aurez 4 cases: A, B, X et Y.

A et B sont les deux morceaux que vous avez sélectionné au préalable, ainsi que X et Y.
Mais vous ne savez absolument pas qui est qui.
Ici, il n'est pas question d'identifier le meilleur ou le moins bon mais tout simplement de dire si A correspond à X ou Y (même topo pour B ).
Le but est tout simplement de voir si vous discernez réellement une différence.

Vous pouvez faire "Pause" ou "Stop" à tout moment, de plus il n'y a aucune limite de temps imposée.
Perso, je trouve l'entreprise plus facile en sélectionnant la case "Keep playback position" qui permet de switcher d'un extrait à l'autre en plein milieu de la piste.

Vous pouvez également décider d'afficher votre "score" au fur et à mesure, ou bien de le masquer jusqu'à la fin, en sélectionnant la case "Hide results".

Attention !!!
Il est absolument impératif d'effectuer une série de minimum 10 essais consécutifs (12 idéalement) pour avoir une validité statistique acceptable.
En effet, vous avez 50% de chance de "déviner" la bonne réponse à chaque fois...

Si vous "réussisez" seulement 3 fois d'affilée, il y a une chance sur 8 (2^3) pour que ce soit un "coup de bol", c'est bien sûr trop élevé.

Par contre, si vous enchaînez une série de 10 essais concluants, il y a moins d'une chance sur 1000 (1024 pour être exact) pour que vous ayez "eu de la chance".
On peut donc vraissemblablement affirmer que vous entendez bel et bien la différence.

Bien sûr, si vous vous plantez à un moment ou un autre dans la série, la validité finale en pâtira.
De toute façon, Foobar2000 vous indique en temps réel votre probabilité d'avoir "deviné avec de la chance", en pourcentage, à condition que vous décochiez la case "Hide results".

Obtenir 3 essais concluants sur 8 (3/8), par exemple, ne veut absolument pas dire que vous entendez "quand même" la différence 3 fois sur 8 !!!
Ceci ne prouve rien du tout, hormis que vous n'avez rien réussi à différencier du tout !
Ca peut paraître "trivial", évident, mais j'ai déja lu ce genre d'ânerie sur d'autres forums.


Bref, l'ABX intégré à Foobar2000 est un outil très utile et facile à utiliser.
Il vous confortera dans votre égo si vous avez une oreille en or, de même qu'il risquera probablement de vous désharconner violemment quand, ayant une audition "normale", vous vous rendrez compte que le lossless est là avant tout pour autre chose que la qualité sonore... (avoir l'esprit tranquille, avoir une copie conforme numérisée de sa collection de disques "physique", ne pas s'embêter avec les divers formats d'encodage et ne pas devoir gérer plusieurs bibliothèques musicales, surtout quand celles-ci sont conséquentes - gérer les deltas dans les tags, par exemple - etc.)

Vous pourrez également vous amuser à comparer deux pistes identiques mais de résolutions différentes: 16 bit avec fréquence d'échantillonage de 44,1 kHz vs. 24bit 96 kHz par exemple.


Un dernier conseil pour la route: ces tests étant particulièrement exigeants, tant niveau concentration que patience, je vous conseille de marquer des petites pauses entre les essais, histoire de laisser vos oreilles et votre cerveau récupérer un peu.
En effet, surtout si vous écoutez vos passages à haut volume pour "mieux entendre la différence" (ce qui est contre-productif AMHA), vous risquez vite, avec la fatigue auditive et mentale, de tout mélanger et de vous taper la tête contre votre clavier. clindoeil.gif

De plus, n'hésitez pas à écouter d'abord de longs extraits de chaque (A et B ) afin de vous laissez imprégner des différences, quitte à choisir un passage particulier (idéalement un killer sample à passer en boucle). Si vous vous lancez directement dans la tentative de différenciation, ou si vous switchez trop vite de l'un à l'autre, le test en sera d'autant plus difficile.
Je pense que c'est le principal écueil dans l'échec du test ABX: la précipitation.


Pour finir, à la fermeture du test, Foobar2000 vous proposera d'enregistrer un rapport .log (format bloc-notes) que vous pourrez poster sur un forum par exemple.
A noter que certains forums "objectivistes" jusqu'au boutiste tels que HydrogenAudio ne fonctionnent que sur ce principe. Sur ce genre de plate-formes, des posts tel que "FLAC is way better than any lossy" ou "24bit is much more resolving than 16bit" auront aussitôt fait de "voler à la poubelle" si vous n'y attachez pas de quoi "prouver" votre assertion.

Certains vous répondront même que si vous arrivez réellement à entendre sans aucun problème la différence entre un fichier encodé avec un format lossy récent (AAC-LC par exemple) au débit maximal et son équivalent lossless, vous feriez bien d'aller bosser pour les concepteurs des algorithmes de compression. bigyellow.gif


--------------------
IPB ImageIPB Image
--------------------
Go to the top of the page
 
+Quote Post
Headphone Geek
posté 12/07/2010, 01:02
Message #2


GMP3 Fan
****

Groupe : Membres
Messages : 1484
Inscrit : 30/10/08
Lieu : The Dark Side of the Moon
Membre no 45965



Si un modo désire modifier / éditer / déplacer ce tuto, qu'il le fasse. Pas besoin de me demander mon avis. clindoeil.gif

Cela peut aussi bien concerner des questions de syntaxe ou d'orthographe que de mise en page (je suis nul pour faire un truc en sections/chapitres - là c'est un bon pavet bien lourd...).

Et de supprimer ce message par la suite.

Merci. jap.gif


--------------------
IPB ImageIPB Image
--------------------
Go to the top of the page
 
+Quote Post
lebellium
posté 12/07/2010, 11:01
Message #3


Modo Samsung
****

Groupe : Retraités équipe GMP3
Messages : 9463
Inscrit : 26/08/05
Lieu : RP
Membre no 11919



Merci pour ce tuto très complet!
J'épingle clindoeil.gif

Par contre c'est vrai que la mise en page actuelle n'est pas très digeste bigyellow.gif


--------------------
Je ne suis plus là, Adieu! :)
Mes 83 baladeurs!
Mes 11 thèmes Rockbox
Westone UM3x; Ultimate Ears Super.fi 5v2, Super.fi 5PRO, Triple.fi10vi
Go to the top of the page
 
+Quote Post
Photofan1986
posté 12/07/2010, 11:11
Message #4


Habitué
***

Groupe : Membres
Messages : 991
Inscrit : 24/11/08
Lieu : Belgique, Bruxelles
Membre no 46953



Je n'ai pas (encore) tout lu, mais un grand merci à toi pour ce tuto! Vraiment indispensable pour éviter certains débats fort pénibles!
thumbup.gif


--------------------
Nomade: Cowon D2+ 16Go, SDHC 32go, Cowon i7 4go, Sansa Clip+ 2Go, µSd 8go, Sennheiser IE8, Head Direct RE252, Earsonics SM3, Sony EX600.

Sédentaire: PC-->DAC Musiland SVDAC06-->Sennheiser HD555 ou ampli Yamaha AX-550 --> Dantax MD107, Marantz LD200.
Go to the top of the page
 
+Quote Post
coolman34
posté 12/07/2010, 13:43
Message #5


Connaisseur
**

Groupe : Membres
Messages : 168
Inscrit : 29/05/09
Lieu : Montpellier (ou presque)
Membre no 54604



Tuto vraiment complet, simple à comprendre et sympa ! thumbup.gif
Merci à toi !

Ce message a été modifié par coolman34 - 12/07/2010, 13:43.


--------------------
mp3 : Samsung YP-K3 4Go Black - Samsung YP-P3 16Go Black
intras : Ultimate Ears Super.Fi 5vi
Music.... What else ?
Go to the top of the page
 
+Quote Post
asmoth
posté 12/07/2010, 15:41
Message #6


Amateur
*

Groupe : Membres
Messages : 88
Inscrit : 12/11/09
Lieu : Blois
Membre no 59501



Merci, tuto très intéressant, je savais pas qu'on pouvait faire des texts ABX facilement avec Foobar thumbup.gif
Merci aussi d'avoir bien expliqué l'effet placebo, c'est sûr que ça joue dans pas mal de cas...

J'ai une petite question, vous me direz ce que vous en pensez : est-ce que ces tests peuvent êtres effectués pour comparer des casques / enceintes entre eux, pas directement, mais dans le sens où si on arrive à différencier deux fichiers avec un casque et pas avec l'autre, cela signifie qu'il est "meilleur" ou du moins plus détaillé peut-être ? Bien sûr dire qu'un casque est "meilleur" qu'un autre est plus complexe que ça étant donné que ça dépend de beaucoup de choses, mais selon moi ça permettrait d'avoir une idée, au moins pour les casques "moyens"...
Et peut-être que ce sujet a été déjà évoqué, dans ce cas je m'excuse...

Bonne journée à vous jap.gif


--------------------
Baladeur : Cowon S9 16 Go
Casque : Koss SB-49 (pour le moment)
Ecouteurs : Creative EP-630 (pour le moment hein :p )
Enceintes : Logitech Z4
Go to the top of the page
 
+Quote Post
necroproject
posté 12/07/2010, 16:52
Message #7


Habitué
***

Groupe : Membres
Messages : 570
Inscrit : 02/06/06
Membre no 19178



Merci pour cette excellente initiative.
Go to the top of the page
 
+Quote Post
Headphone Geek
posté 12/07/2010, 17:47
Message #8


GMP3 Fan
****

Groupe : Membres
Messages : 1484
Inscrit : 30/10/08
Lieu : The Dark Side of the Moon
Membre no 45965



Citation (asmoth @ 12/07/2010, 16:41) *
J'ai une petite question, vous me direz ce que vous en pensez : est-ce que ces tests peuvent êtres effectués pour comparer des casques / enceintes entre eux, pas directement, mais dans le sens où si on arrive à différencier deux fichiers avec un casque et pas avec l'autre, cela signifie qu'il est "meilleur" ou du moins plus détaillé peut-être ? Bien sûr dire qu'un casque est "meilleur" qu'un autre est plus complexe que ça étant donné que ça dépend de beaucoup de choses, mais selon moi ça permettrait d'avoir une idée, au moins pour les casques "moyens"...
Et peut-être que ce sujet a été déjà évoqué, dans ce cas je m'excuse...

Salut asmoth,

Tu poses une question interessante.
Malheureusement, un casque avec lequel on entend bien "les défauts du son" n'est pas forcément un bon casque pour "faire de la musique".

Le MP3 peut se faire griller sur deux aspect:

- la coupure de l'extrême-aigu (18 kHz avec LAME à débit élevé)
- les artéfacts de compression

La plupart des gens ne sera pas sensible au premier, un adulte moyen ayant peu de chance d'entendre quelque chose au dessus de 16-17 kHz. Mais si tu es très jeune où que tu as une acuité auditive très haut dessus de la norme (certains perçoivent les fréquences jusqu'à 22 kHz, même à l'âge adulte!) Tu peux sentir que le MP3 tronque légèrement le decay des cymbales.

Par contre, le deuxième est une question d'entraînement et de concentration. Les deux artéfacts principaux du MP3 sont le pré-écho et les distortions sur les hautes fréquences.
Tu remarqueras le premier sur les percussions (les premiers codecs MP3 étaient tout simplement incapables d'encoder des sons de castagnettes sans avoir un rendu dégeulasse - ça a bien évolué depuis) batterie, applaudissement de la foule sur un live (renforcé par le caractère aléatoire de ce genre de signal).
Tu percevras le deuxième sur les cymballes, principalement. Ca peut se traduire de différentes manières: une sibilance un peu forcée, un rendu un peu "dur" (digital...), un tintement métallique artificiel, désagréable, etc.

On peut aussi noter un léger souffle se rajouter sur certains passages...

Bref, tout ça est très subtil mais peut s'entendre sur des passages bien particuliers (killer samples). Tout dépend aussi de ton niveau d'exigence, si tu t'en fout tu ne les entendras pas mais si tu t'entraînes, tu n'entendras plus que ça. clindoeil.gif

Certains casques sont réputés pour être impitoyables avec les mauvais encodages, à ma connaissance: Beyerdynamic DT48 et SONY Qualia.
Après, ces deux casques sont aussi reconnus pour sonner très bizarrement, pas naturel du tout en tout cas.

De même, je suppose qu'un casque rapide, impacté et avec les médium-aigus "forcés" tel que le Grado RS-1, rendra beaucoup plus sensible ce type de "défauts" qu'un casque nettement plus feutré tel que le Senn HD650 mais ça ne rend pas celui-ci "moins bon" pour autant. Le niveau de résolution "brute" des deux modèles est d'ailleurs tout à fait comparable.

Après, c'est sûr que du meilleur matos aide, mais quand les artéfacts sont là et que tu y est (devenu?) sensible, tu les entendras même avec un truc tout juste "potable".
Dans le lien "killer samples" redirigeant vers hydrogenaudio, tu verras en deuxième page que le mec a passé un ABX avec 11 essais validés sur 12 avec du LAME 3.97 - V2, le tout avec les écouteurs d'origine de son iPod. clindoeil.gif

Pour en revenir aux casques, on attend d'un modèle "Hi-Fi" d'être précis, certes, mais aussi d'être "musical": dynamique, scène sonore, qualité des timbres, finesse de l'aigu, découpage net du registre grave, etc.
Bref, tout ce qui est susceptible de renforcer l'émotion procurée à l'écoute...

Pour conclure, se baser sur le "pouvoir de mise en évidence des artéfacts de compression dans un fichier lossy" pour juger de la qualité d'un casque, ça me semble être une mauvaise manière de procéder (hormis peut-être pour une application monitoring - studio, et encore...).

Tout ceci s'étend bien évidemment au cas des enceintes...

AMHA.

Ce message a été modifié par Headphone Geek - 12/07/2010, 17:59.


--------------------
IPB ImageIPB Image
--------------------
Go to the top of the page
 
+Quote Post
asmoth
posté 12/07/2010, 18:50
Message #9


Amateur
*

Groupe : Membres
Messages : 88
Inscrit : 12/11/09
Lieu : Blois
Membre no 59501



Merci de ta réponse Headphone Geek smile.gif

Je me doutais que ce critère seul n'allait pas servir à dire "tel casque est meilleur" mais je suis d'accord avec toi, c'était une question intéressante laugh.gif

Concernant la coupure des (extrêmes) aigus c'est en particulier là-dessus que je me base pour repérer à l'oreille les fichiers de bas débit (128 par exemple), c'est souvent net sur les cymbales, les passages critiques pour les distorsions sont souvent aussi les sons "s" ou "f" au niveau du chant.
Personnellement je pense entendre jusqu'à 18 - 19 kHz d'après mes tests (avec des sons sinusoïdaux créés pour l'occasion, même si je sais qu'ils ne sont pas "parfaits", parasites etc) et selon le matériel.

Pour les pré-échos, j'avoue ne pas en avoir remarqué ne connaissant pas ce phénomène, si t'as des exemples de fichiers à me donner...

P.S. :
Citation
être "musical": dynamique, scène sonore, qualité des timbres, finesse de l'aigu, découpage net du registre grave, etc.

C'est ce que j'entendais par "beaucoup de choses" biggrin.gif

Et encore merci de prendre du temps pour pondre des réponses précises et argumentées thumbup.gif

Ce message a été modifié par asmoth - 12/07/2010, 18:53.


--------------------
Baladeur : Cowon S9 16 Go
Casque : Koss SB-49 (pour le moment)
Ecouteurs : Creative EP-630 (pour le moment hein :p )
Enceintes : Logitech Z4
Go to the top of the page
 
+Quote Post
airelleofmusic
posté 12/07/2010, 22:59
Message #10


Connaisseur
**

Groupe : Membres
Messages : 143
Inscrit : 12/04/08
Lieu : Lacrouzette
Membre no 39139



Merci beaucoup pour ce tuto mais je n'arrive malheureusement pas à "mettre en surbrillance" et donc par conséquent réaliser le test ABX.
Pourrais-tu détaillé les étapes 4 et 5 ?
Où alors ai-je mal télécharger le player o_O
Merci de votre aide bigyellow.gif


--------------------
Baladeurs: Cowon J3 32GB + Sansa Fuze 24GB + Iriver Mplayer 1GB
Casques: Earsonics SM2 DLX + Sennheiser HD 25-1 II + Grado SR 80 + Altec Lansing Backbeat Pro UHP606 (à échanger)
Go to the top of the page
 
+Quote Post
asmoth
posté 12/07/2010, 23:09
Message #11


Amateur
*

Groupe : Membres
Messages : 88
Inscrit : 12/11/09
Lieu : Blois
Membre no 59501



Citation (athlete-number-one81 @ 12/07/2010, 23:59) *
Merci beaucoup pour ce tuto mais je n'arrive malheureusement pas à "mettre en surbrillance" et donc par conséquent réaliser le test ABX.
Pourrais-tu détaillé les étapes 4 et 5 ?
Où alors ai-je mal télécharger le player o_O
Merci de votre aide bigyellow.gif


Il suffit de sélectionner les deux pistes à comparer dans Foobar : avec un clic long tu prend les deux. Il faut pour ça que tu aies chargés les deux fichiers dans Foobar ^^
Ensuite tu fais clic droit sur les deux pistes sélectionnées -> utilities -> ABX two track. Si t'as pas "ABX two tracks" il faut que t'installes le "component" requis.


--------------------
Baladeur : Cowon S9 16 Go
Casque : Koss SB-49 (pour le moment)
Ecouteurs : Creative EP-630 (pour le moment hein :p )
Enceintes : Logitech Z4
Go to the top of the page
 
+Quote Post
airelleofmusic
posté 12/07/2010, 23:28
Message #12


Connaisseur
**

Groupe : Membres
Messages : 143
Inscrit : 12/04/08
Lieu : Lacrouzette
Membre no 39139



Ah merci beaucoup je n'avais effectivement pas le component requis !
Encore merci ! Sourire.gif


--------------------
Baladeurs: Cowon J3 32GB + Sansa Fuze 24GB + Iriver Mplayer 1GB
Casques: Earsonics SM2 DLX + Sennheiser HD 25-1 II + Grado SR 80 + Altec Lansing Backbeat Pro UHP606 (à échanger)
Go to the top of the page
 
+Quote Post
Pub
posté
Message #












Go to the top of the page
 
Quote Post

Reply to this topicStart new topic
1 utilisateur(s) sur ce sujet (1 invité(s) et 0 utilisateur(s) anonyme(s))
0 membre(s) :

 



RSS Version bas débit Nous sommes le : 24/10/2017 - 03:04