Warning: statistical benchmarking is addictive, kicking the habit in machine learning

Télécharger
  1. Obtenir@CNRC : Warning: statistical benchmarking is addictive, kicking the habit in machine learning (Ouvre dans une nouvelle fenêtre)
DOITrouver le DOI : http://doi.org/10.1080/09528130903010295
AuteurRechercher : ; Rechercher :
TypeArticle
Titre de la revueJournal of Experimental and Theoretical Artificial Intelligence
ISSN0952-813X
1362-3079
Volume22
Numéro1
Pages6780
Sujetmachine learning; algorithm evaluation; benchmarking; null hypothesis tests
RésuméAlgorithm performance evaluation is so entrenched in the machine learning community that one could call it an addiction. Like most addictions, it is harmful and very difficult to give up. It is harmful because it has serious limitations. Yet, we have great faith in practicing it in a ritualistic manner: we follow a fixed set of rules telling us the measure, the data sets and the statistical test to use. When we read a paper, even as reviewers, we are not sufficiently critical of results that follow these rules. Here, we will debate what are the limitations and how to best address them. This article may not cure the addiction but hopefully it will be a good first step along that road.
Date de publication
Maison d’éditionTaylor & Francis
Langueanglais
AffiliationConseil national de recherches Canada; Institut de technologie de l'information du CNRC
Publications évaluées par des pairsOui
Numéro NPARC23002090
Exporter la noticeExport en format RIS
Signaler une correctionSignaler une correction
Identificateur de l’enregistrementa579582d-6412-4e35-b434-e89e008e276a
Enregistrement créé2017-08-10
Enregistrement modifié2017-08-10
Mettre en signet et diffuser
  • Partagez cette page avec Facebook (Ouvre dans une nouvelle fenêtre)
  • Partagez cette page avec Twitter (Ouvre dans une nouvelle fenêtre)
  • Partagez cette page avec Google+ (Ouvre dans une nouvelle fenêtre)
  • Partagez cette page avec Delicious (Ouvre dans une nouvelle fenêtre)