Passer au contenu

Baidu a triché lors du test de reconnaissance d’images d’ImageNet

Le géant chinois Baidu effectue de nombreux tests à l’aide de ses super ordinateurs. Depuis, il crie haut et fort qu’il surpasse ses concurrents Google et…

image-recognition

Le géant chinois Baidu effectue de nombreux tests à l’aide de ses super ordinateurs. Depuis, il crie haut et fort qu’il surpasse ses concurrents Google et Microsoft en matière de reconnaissance d’image après un test réalisé sur ImageNet. Sauf que le test n’a pas été très “clean”.

Au milieu du mois de mai, Baidu a crié haut et fort qu’il ne dépassait pas les 4,58% d’erreur lors du test d’ImageNet. Le système de reconnaissance de Baidu était donc plus puissant que celui de Google (4,94% d’erreurs) et Microsoft (4,8% d’erreurs).

Mais une fois le résultat clamé, ImageNet a vérifié les résultats, simple procédure de sécurité, voyez-vous. Et il a eu raison. Après avoir épié les données, il s’avère que Baidu a triché lors du test. Pas bien.

Après ce fâcheux événement, Matthew Ziler, directeur de Alsoftware a expliqué au Wall Street Journal qu’il était possible de tricher si on connaît bien le test. Il suffit ensuite de modifier ses paramètres afin d’être “optimisé”.

Conséquence: Baidu a été retiré du Guiness Book et a été banni du test d’ImageNet. Le fautif s’est d’ailleurs excusé.

“Nous nous excusons pour cette erreur et nous continuions de vérifier nos résultats (…). Nous allons étendre nos recherches dans la reconnaissance d’image et continuer de fournir des mises à jour”.

🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.

10 commentaires
  1. Non sérieusement c’est quoi cet article useless ?

    Vous nous expliquez que Baidou a triché et en expliquez les conséquence. Seulement le point intéressant du sujet c’est de savoir comment ils ont triché. Hors là n’expliquez rien du tout, il y a un juste un article du WSJ en source qu’on ne peut pas lire sans y être inscrit. A défaut d’avoir la flemme de traduire, ça serait bien de mettre une citation de l’article qui explique la triche.

    1. je vois même pas pourquoi tu luttes encore… Fais comme tout le monde , vas sur un site sérieux
      Ici c’est devenu le closer du web

  2. Je venais dire la même chose. L’article n’apporte rien de plus que le titre.

    C’est grave.

  3. c’est pas nouveau. Qui n’a pas été floué par des logiciels fakes, prônant des possibilités, sans version démo donc pour le tester faut l’acheter (une modique somme) pour ensuite lancer une interface… qui n’est qu’une coquille vide.
    “Ah bah désolé, ça plante, mais chez nous ça marche, on peut pas vous aider. Désolé…”
    ( dernier exemple en date Gopro control Windows… )

  4. En fait, ImageNet autorise 2 requêtes par semaine. Baidu a utilisé 30 comptes puppetsocket (jusqu’à 40 requêtes sur 5 jours) pour augmenter les taux de reconnaissance DU POOL DE PHOTO EXISTANTES (le gras est de moi), et non de photo aléatoires.

    Votre humble traducteur à votre service.

  5. En fait, ImageNet autorise deux tentatives par semaine. Baidu a créé 30 puppetsockets pour faire jusqu’à 40 requêtes sur 5 jours. Du coup, le logiciel de reconnaissance est habitué aux photos du moment, et non à des photos aléatoires.
    Tricher, pas bien.
    Traduire correctement, beaucoup mieux.

    1. Merci pour la précision! En effet cet article est super incomplet, il donne l”info qu’il y a eu “triche”… et c’est tout ! JDK devrait arrêter de faire de l’article en “masse” de ce type, cela n’apporte rien !

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Mode