No full text
Unpublished conference/Abstract (Scientific congresses, symposiums and conference proceedings)
Comment assurer la qualité de l’évaluation par les pairs des propositions de communication dans le cadre d’un colloque scientifique ?
MILMEISTER, Marianne; WEIS, Christiane; DIERENDONCK, Christophe
201931e colloque de l’ADMEE-Europe - Entre normalisation, contrôle et développement formatif. Évaluations sources de synergies ?
 

Files


Full Text
No document available.

Send to



Details



Keywords :
peer evaluation; scientific quality of a colloquium; interrater-reliability
Abstract :
[fr] L’évaluation par les pairs joue un rôle important dans le monde universitaire et est souvent considérée comme le garant de la qualité scientifique. En même temps, les biais qui existent pour ce type d’évaluation sont multiples (partialité des évaluateurs, divergence de jugement entre évaluateurs, etc.) et bien documentés dans la littérature. Dans le cadre d’un colloque que nous avons organisé en 2018, nous avons mené une analyse exploratoire sur la base de données des évaluations réalisées par les pairs. Le but était d’avoir une idée de la qualité de l’évaluation par les pairs, de voir dans quelle mesure on retrouve les biais relevés par la littérature scientifique et, enfin, de définir des pistes qui pourraient contribuer à améliorer la qualité de ce processus. Dans le cas de notre colloque, l’évaluation par les pairs s’est faite via une plateforme en ligne. Chaque proposition de communication était évaluée de manière anonyme par deux personnes et sur base de neuf critères pour lesquels les évaluateurs pouvaient choisir entre quatre modalités d’appréciation : très faible, faible, bon, très bon. Ensuite, l’évaluateur devait donner sa recommandation pour la contribution analysée : acceptation, acceptation sous réserve d’ajustements ou refus. Une première analyse des données montre notamment qu’il existe des différences plus ou moins importantes tant entre les jugements des évaluateurs qu’entre les décisions d’un même évaluateur. Les résultats détaillés de nos analyses seront présentés lors du colloque et des pistes d’amélioration discutées.
Disciplines :
Social & behavioral sciences, psychology: Multidisciplinary, general & others
Author, co-author :
MILMEISTER, Marianne ;  University of Luxembourg > Faculty of Language and Literature, Humanities, Arts and Education (FLSHASE) > Luxembourg Centre for Educational Testing (LUCET)
WEIS, Christiane ;  University of Luxembourg > Faculty of Language and Literature, Humanities, Arts and Education (FLSHASE) > Luxembourg Centre for Educational Testing (LUCET)
DIERENDONCK, Christophe  ;  University of Luxembourg > Faculty of Language and Literature, Humanities, Arts and Education (FLSHASE) > Education, Culture, Cognition and Society (ECCS)
External co-authors :
no
Language :
French
Title :
Comment assurer la qualité de l’évaluation par les pairs des propositions de communication dans le cadre d’un colloque scientifique ?
Alternative titles :
[en] How to assure the quality of the peer evaluation process in the framework of a scientific colloquium
Publication date :
10 January 2019
Event name :
31e colloque de l’ADMEE-Europe - Entre normalisation, contrôle et développement formatif. Évaluations sources de synergies ?
Event organizer :
Université de Lausanne, Institut fédéral des hautes études en formation professionnelle, ADMEE-Europe
Event place :
Lausanne, Switzerland
Event date :
08/01/2019-10/01/2019
Audience :
International
Focus Area :
Educational Sciences
Available on ORBilu :
since 16 January 2019

Statistics


Number of views
168 (5 by Unilu)
Number of downloads
0 (0 by Unilu)

Bibliography


Similar publications



Contact ORBilu