Replicability is not reproducibility: nor is it good science

  1. (PDF, 307 Ko)
AuteurRechercher :
Titre du compte renduProceedings of the Evaluation Methods for Machine Learning Workshop at the 26th ICML, Montreal, Canada,2009
ConférenceEvaluation Methods for Machine Learning Workshop, the 26th ICML, June 14-18, 2009, Montreal, Canada
RésuméAt various machine learning conferences, atvarious times, there have been discussionsarising from the inability to replicate theexperimental results published in a paper.There seems to be a wide spread view that weneed to do something to address this prob-lem, as it is essential to the advancementof our field. The most compelling argumentwould seem to be that reproducibility of ex-perimental results is the hallmark of science.Therefore, given that most of us regard ma-chine learning as a scientific discipline, beingable to replicate experiments is paramount.I want to challenge this view by separatingthe notion of reproducibility, a generally de-sirable property, from replicability, its poorcousin. I claim there are important differ-ences between the two. Reproducibility re-quires changes; replicability avoids them. Al-though reproducibility is desirable, I contendthat the impoverished version, replicability,is one not worth having.
Date de publication
AffiliationConseil national de recherches Canada; Institut de technologie de l'information du CNRC
Publications évaluées par des pairsOui
Numéro NPARC23002091
Exporter la noticeExport en format RIS
Signaler une correctionSignaler une correction
Identificateur de l’enregistrement54187bb4-a8e2-4ce9-9067-9938dc403bea
Enregistrement créé2017-08-10
Enregistrement modifié2017-08-10
Mettre en signet et diffuser
  • Partagez cette page avec Facebook (Ouvre dans une nouvelle fenêtre)
  • Partagez cette page avec Twitter (Ouvre dans une nouvelle fenêtre)
  • Partagez cette page avec Google+ (Ouvre dans une nouvelle fenêtre)
  • Partagez cette page avec Delicious (Ouvre dans une nouvelle fenêtre)