Pourquoi falsifier les benchmarks est devenu si facile ?
Très souvent, il arrive que des fuites autour des peformances et des caractéristiques techniques soient dévoilées sur le web et ce avant même l'officialisation des smartphones. Les principales sources de ces rumeurs sont les tests de performances dits benchmarks comme AnTuTu, Geekbench et d'autres applications similaires. Mais quelle est la fiabilité de ces tests ?
Oui, ces benchmarks nous permettent d'apprendre des choses. Mais manipuler les résultats est une opération qui ne nécessite pas beaucoup de temps et qui vous permet d'afficher des données différentes. Aujourd'hui, nous allons vous montrer comment vous pouvez falisifier les résultats de benchmarks.
Modifiez build.prop pour avoir un Galaxy S8
Les données importantes du système sont enregistrées dans le fichier build.prop qui comprend même le nom, le modèle et la version Android de l'appareil. Avec une application, il est possible de modifier ce fichier. L'unique condition pour le faire est que le smartphone doit être rooté.
Un éditeur de texte avec un accès root (ou directement avec BuildProp Editor) vous permet d'éditer des valeurs importantes. Vous devez ensuite accéder au dossier build.prop pour récupérer les valeurs actuelles. J'ai ainsi transformé mon Moto G3 en un Samsung Galaxy S8. Comme vous pouvez le voir sur la capture d'écran ci-dessous maintenant, le smartphone tourne sous Android 7.1 !
Précision importante avant de continuer à lire notre guide : build.prop est un fichier système. Les changements peuvent avoir de lourdes conséquences pour l'appareil, vous pourriez même ne pas être en mesure de démarrer votre téléphone. Il est déconseillé de faire cette procédure avec le smartphone que vous utilisez tous les jours, mais plutôt avec un dispositif où vous pouvez éventuellement rétablir les paramètres d'usine sans aucun problème.
Pour modifier ces valeurs, vous aurez besoin d'utiliser l'application BuildProp Editor :
- ro.product.manufacturer: Samsung
- ro.product.brand: Samsung
- ro.product.model: Galaxy S8
- ro.product.name: heroltexx
Vous voulez voir tourner la nouvelle version Android ? Voici comment la modifier :
- ro.build.version.release: 7.1
En changeant ces valeurs, vous pouvez obtenir des résultats satisfaisants, même si, pour une plus grande authenticité, il serait préférable de creuser plus profondément dans les build.prop. Pour mes tests, ces options sont suffisantes à cet effet. Après avoir modifié les éléments ci-dessus, vous devez redémarrer le téléphone.
Geekbench : parfait pour la création de faux benchmarks
Geekbench est parfaitement adapté à mon expérience parce que les tests s'effectuent rapidement et les informations apparaissent facilement Dans le menu, sélectionnez View Online et vous avez le lien avec les résultats de référence. Ici vous pouvez voir mon test du Moto G3 sous la forme d'un Samsung Galaxy S8 :
AnTuTu et Geekbench : la situation se complique
AnTuTu fournit également une page utile qui recueille tous les résultats, mais ne donne pas la possibilité de publier les résultats. L'écran montre que notre Galaxy S8 tourne sous Android 7.1. Mais bine qu'AnTuTu a une fonction de partage intégré, il n'a pas été possible de la faire marcher dans notre test.
Au premier test GFXbench, nous avons reçu des messages d'avertissement nous indiquant que les résultats sont enregistrés dans la base de données. Ce n'est pas un problème pour notre Galaxy S8 ;) Toutefois, GFXBench vérifie certaines informations pour évaluer la véracité des tests.
Comment falsifie t-on un benchmark parfait ?
Pour rendre plus crédibles les résultats, il est préférable d'utiliser un smartphone techniquement similaire. Le Samsung Galaxy S7 pourrait ainsi par exemple être facilement utilisé pour falsifier le benchmark d'un hypothétique Note 7 ou Galaxy S8. Avec une application comme Geekbench, la diffréence ne se notera pas.
Si vous êtes chanceux, vous parvenez à attirer l'attention de certains sites dédiés au monde de la technologie dans lequel apparaissent votre référence truqué.
Conclusion : les rumeurs provenant des benchmarks sont faciles à falsifier
Avec mon test, j'ai voulu montrer combien il était facile de falsifier des données à partir d'un benchmark pour les appareils qui doivent encore être présents sur le marché. Geekbench en particulier, est particulièrement vulnérable, mais, avec un peu plus d'effort, vous pouvez aussi falsifier ceux de AnTuTu et de GFXBench.
Toutefois, il arrive parfois que certains employés d'une marque testent des smartphones qui ne sont pas encore officialisés mais ces situations se produisent très rarement sont.
Avez-vous déjà essayé de falsifier un benchmark ?
Je veux simplement dire que pour un usage perso ça ne sert à rien même si c'est effectivement très bien de savoir qu'il est possible de "tricher" ... mais l'utilisateur lambda n'en a aucune utilité ... ça n'amène rien, ça n'améliore rien .. mais je répète que tu as raison sur le fait qu'il est bon de savoir qu'il est possible de "trafiquer" un benchmark !! Désolé pour ma maitrise de la langue Shakespearienne, je pense être meilleur dans celle de Molière et j'espère avoir été plus clair.
Là dessus, je suis tout à fait d'accord avec toi. le fait d'avoir un point de vue différent ne me dérange pas pas , au contraire.
C'est dans la confrontation d'avis différents que l'on peut progresser et améliorer son propre jugement. A la condition expresse de le vouloir et de l'accepter.
Donc, tu peux continuer à donner un "autre son de cloche", c'est cela appartenir à une communauté ouverte qui nous enrichiras (même si ce n'est pas de manière sonnante et trébuchante ...)
Quant à ma remarque sur la langue anglaise, je m'adressais à "Skyrail" mais le commentaire a été mal orienté (je suis persuadé pourtant de l'avoir bien positionné mais ... je me suis peut-être loupé)
Pourrais-tu m'indiquer alors la signification précise (non littérale, il y a peut-être une subtilité qui m'échappe) de " ... whispering you buy this one"
Et ça sert à quoi ??
Que l'on évite de prendre des vessies pour des lanternes.
C'est-à-dire que le benchmark d'un appareil n'est pas une chose devant laquelle il faut se prosterner sans chercher à comprendre, qu'un chiffre n'est peut-être pas si "innocent" que ça et qu'on puisse se poser la question de savoir comment il a été produit, qu'un smartphone considéré comme superlatif grâce à ces résultats aux "bons benchmarks" ne mérite pas fatalement cette considération. En une phrase, que l'on se pose des questions plutôt que de se donner des réponses trop vite et trop facilement.
Émettre des doutes, aujourd'hui est considéré comme une dangereuse agression contre la bonne manière de penser et accepter la toute puissance des chiffres comme une évidence insoupçonnable, or ça n'a jamais été le cas des personnes qui se sentent libre de penser par elle-même.
Take care, Big brother is watching you... whispering you "buy this one" 😅
Savoir que c'est faisable ok, ça permet effectivement de ne pas "gober" tout ce qu'on peut lire et voir mais à titre perso falsifier un benchmark ça sert à quoi ?? A rien ...
Le sens "très précis" de ta réponse semble m'échapper. La langue de Shakespeare possédant encore quelques secrets pour moi, pourrais-tu m'éclairer sur le sens de ta réponse ?
C'est surtout le sens du "one" qui me questionne.
Apparemment, tu sembles avoir raison. Tant qu'il n'y a pas de preuves étalées du trucage sur la place publique tout semble parfait.
Un exemple récent et troublant peut peut-être faire réfléchir : avant le problème des moteurs diesel Volkswagen, la suspicion était ridicule et même pas imaginable, mais depuis tout a changé ... mystérieusement ! (surtout quand nous savons qui a fermé les yeux pour ne pas voir)
Je ne dis pas qu'il doit y avoir la même chose pour les benchmarks informatiques, je constate seulement la similitude de la situation et j'applaudis que le site nous alerte sur cette possibilité éventuelle et pas plus.
Il y a trop peu de médias qui n'essaye pas de nous vendre du "Coca-Cola" dans notre temps de cerveau disponible (dixit Patrick Le Lay directeur des programmes à TF1 avec beaucoup se sincérité et pas mal de cynisme) pour que je marque pas ma satisfaction de voir qu'ici au moins, nous ne sommes pas pris pour des imbéciles, pardon des consommateurs normalisés.