En ce qui concerne la prise en compte de la validité (interne) et de la fiabilité dans une étude qui porte sur une approche qualitative je me pose quelques questions existentielles sur le 2 ème point... En effet, je tente de mettre en pratique sur le plan statistique le Kappa de Cohen mais je ne sais vraiment pas par où commencer... J'aimerai que mon analyse thématique puisse être reproductible ou au moins évaluer celle-ci...

C'est pourtant un calcul que l'on connait en recherche clinique pour tester la fidélité inter-codeurs pour valider un test. Mais quid dans les études qualitatives?

Kimberly A. Neuendorf dans son livre "The Content Analysis Guidebook" présente un chapitre 6 dédiée à la " Reliability " ... Cependant, je en sais pas si cela décrit de façon pratique l'adaptation à une analyse thématique... quelqu'un possède ce livre (nouvelle édition 2017)?

Dans le Kappa de cohen, si j'ai bien compris, il faut déterminer préalablement des modalités que l'on va tester à des temps 1 et 2 (https://lemakistatheux.wordpress.com/category/tests-statistique-indices-de-liaison-et-coefficients-de-correlation/le-coefficient-kappa-de-cohen/). On retrouve d'ailleurs le traitement d'un Kappa dans le numéro 18 de la revue de l'ostéopathie.


En fait, je cherche juste à comprendre sur quoi porte le KAPPA ? comment détermine-t-on ces modalités à partir des résultats d'une analyse thématique ?

En effet, ce n'est pas comme dans un test médical où l'on a un résultat qui sera à deux modalités soit positif ou négatif (exemple : douleur ou absence de douleur). Là c'est facile à calculer ...2 examinateurs, 4 cases et en avant la musique...

Dans notre cas, la fidélité inter codeur porterait, il me semble, sur de nombreux items.

En effet, je ne pense pas que l'on teste la fidélité avec seulement deux modalités : "fidèle" et "non fidèle". Il me semble plus judicieux de tester chaque item de l'analyse thématique.


Ainsi, dans le cadre d'une analyse thématique, les similitudes de choix peuvent être proches mais pas totales ? Faut-il coder une variable par thème avec par exemple 5 modalités allant de "similitude parfaite" à "pas de similitude" ? La construction des tableaux d'effectifs serait alors possible. Cependant il reste toujours un aspect subjectif dans le choix de ce qui est ou non similaire... Et que se passe-t-il si les deux "codeurs" ne trouvent pas le même nombre de catégories ? Il faudrait que les codeurs suivent eux-mêmes une sorte d'arbre décisionnel pour coder des thématiques pour justifier leurs choix ? Doit -on parler de leur expérience... bref... cela me parait très compliqué en termes de justification de scientificité...

Alors comment améliorer la validité externe d'une étude qualitative? utiliseriez-vous le Kappa de cohen?