On vous a demandé, et les benchmark de smartphones ne sont pas si pertinents que ça pour vous

Vendredi dernier, nous avons interrogé notre communauté sur la pertinence des benchmark dans les tests de smartphones, ainsi que sur le logiciel le plus apprécié pour ces analyses. Globalement, le résultat n'est pas surprenant. Comme d'habitude, le sondage a été réalisé sur les quatre domaines de NextPit: .fr, .de, .com et .com.br. 

Les critères de référence ne sont pas pertinents pour notre communauté

Si l'on considère non seulement le résultat des sondages, mais aussi les commentaires de plusieurs lecteurs, la pertinence des benchmark est en déclin. La raison n'en est même pas la crédibilité des applications de benchmark en elle-même, mais l'optimisation que les fabricants font dans le système d'exploitation de leurs smartphones mobiles afin d'obtenir de meilleures performances dans ce type de test.

Alors que dans la communauté brésilienne de NextPit, 45% des personnes ont déclaré qu'elles avaient un certain intérêt à utiliser les applications de benchmark comme référence dans les tests de smartphones, pour les autres domaines de NextPit, la majorité considère que les benchmarks ne sont pas vraiment pertinents: Allemagne (43%), France (50%) et international (49%).

J'aimerais que les entreprises ne trichent pas sur les benchmarks pour leur redonner du sens.

Storm, communauté nextpit.com

Pour la majorité de la communauté NextPit, les benchmark ne sont pas pertinents. / © NextPit

Au-delà des controverses impliquant des tricheries de la part des entreprises dans les benchmarks, certaines personnes ont déclaré que, parce qu'elles ne comprennent pas les résultats présentés de manière trop brute et sans analyse, ces benchmarks n'ont pas de sens et n'influencent donc pas leur opinion finale sur le téléphone.

Souvent, [les résultats des benchmark] sont une série de chiffres que je ne comprends pas toujours et que je n'essaie même pas de comprendre, et je pense que c'est le cas pour beaucoup de consommateurs.

Pierre Aubry, communauté française

AnTuTu apparaît toujours comme le benchmark le plus populaire

Communauté NextPit	Classement
Brésil	AnTuTu (57%) Geekbench (23%) 3DMark (11%)
Allemagne	AnTuTu (17%) Geekbench (6%) Batterie PC Mark (6%)
France	AnTuTu (32%) Batterie PC Mark (30%) Geekbench (8%)
International	AnTuTu (38%) Geekbench (25%) Batterie PC Mark (21%)

Du côté du logiciel de benchmark considéré comme le meilleur - ou peut-être le plus populaire - il y avait quelques variations d'une communauté à l'autre, mais en général, ceux qui apprécient un benchmark préfèrent les résultats d'AnTuTu.

J'utilise Antutu pour savoir au delà du classement, étudier quel smartphone acheter, honnêtement il y a beaucoup de personnes qui se font arnaquer pour ne pas savoir certaines choses sur le smartphone. Mauvais ou pas, le classement de l'application d'analyse reste utile principalement pour ceux qui veulent un bon smartphone.

Douglas, communauté brésilienne

Cependant, suivant la tendance observée dans le premier sondage, la plupart des gens disent qu'ils ne considèrent pas les logiciels de benchmark comme pertinents, quelle que soit leur activité : Allemagne (60%), France (53%) et International (46%). Cette option apparaît en deuxième position dans notre communauté au Brésil (37%).

Bien que les benchmarks ne soient pas pertinents pour la plupart, AnTuTu reste le plus populaire de la catégorie. / © NextPit

Conclusion

Comme dit plus haut, rien ne remplace le retuor personnel de ceux qui testent un téléphone! Cependant, comme le montrent un certain nombre de commentaires de notre communauté allemande, malgré les controverses ou l'utilisation de ce type d'outil pour des campagnes de marketing, les benchmarks ont toujours un objectif pertinent lorsqu'il s'agit de comparatifs hardware.

• Lire aussi: Quel est le meilleur processeur (SoC) pour smartphone en 2021? - Le comparatif ultime

Apple A15 Bionic, Google Tensor, Samsung Exynos, Qualcomm Snapdragon, MediaTek Dimensity et autres offrent des performances distinctes et la curiosité de savoir quel est le processeur (SoC) le plus puissant fait partie du jeu. Cependant, la différence de performance dans les actions quotidiennes est finalement très faible, ce qui n'affecte pas vraiment l'expérience globale avec les différents matériels. Et cela a clairement fini par diminuer l'intérêt pour les résultats du benchmark.

Je ne me soucie pas des benchmarks car ils ne disent pas grand-chose des performances réelles dans la pratique.

KuestenGlueck13, communauté allemande

Personnellement, je prête beaucoup plus d'attention à la description de l'expérience avec un produit qu'aux résultats de référence proposés dans un test. En effet, il est beaucoup plus facile pour moi d'établir un lien entre le temps d'utilisation d'un appareil en heures ou en jours, qu'avec un score spécifié dans un tableau.

Comme toujours, merci beaucoup d'avoir participé à notre sondage de la semaine, et un merci tout particulier aux personnes qui ont partagé leurs opinions avec notre communauté ! Que pensez-vous du résultat? Je suis curieux d'entendre ce que vous en pensez dans les commentaires ci-dessous.

---

Texte original

Dans le sondage de cette semaine, nous apportons à la communauté NextPit un autre débat entendu à la rédaction. Quelle est la pertinence des benchmark pour les lecteurs, pour vous?

Les controverses concernant les bancs d'essai ne manquent pas, qu'il s'agisse de fabricants de composants trichant sur les tests ou de modèles désactivant leurs contrôles internes pour ajuster la consommation d'énergie et la température lorsqu'ils détectent des applications de banc d'essai - ce qui permet de comprendre pourquoi certains smartphones surchauffent et tombent en panne pendant les tests.

La pratique n'est pas nouvelle, et l'un des cas les plus symboliques - le tristement célèbre "quack3.exe" - a récemment fêté ses 20 ans. Pourtant, les outils de benchmark sont constamment présents dans les tests et les comparatifs de processeurs, de cartes graphiques et, bien sûr, de smartphones et de tablettes.

Ce qui nous amène à la première question:

Une partie de la popularité des benchmarks, y compris parmi les consommateurs, est due à la facilité d'installation et d'exécution, sans qu'il soit nécessaire de définir des scripts pour exécuter les tests.les applications et le temps de leur utilisation, en plus de la génération d'un score facile à comparer, avec plusieurs outils publiant même des classements avec des tests effectués par le public.

Quels sont les benchmarks qui comptent vraiment?

Mais pour ceux qui s'intéressent aux chiffres révélés par les applications, quels sont ceux qui comptent vraiment? Avec autant d'options sur le marché, accordez-vous plus d'importance à une référence particulière lorsque vous choisissez un nouveau téléphone mobile ou une nouvelle tablette?

Bien sûr, les benchmark ne représentent qu'une petite partie des tests ici chez NextPit, mais nous nous demandons si nous devrions réduire (ou augmenter) le temps passé à tester et à analyser les scores - d'autant plus si l'on considère que de nombreux téléphones et tablettes ont beaucoup d'utilisateurs.C'est d'autant plus vrai que de nombreux appareils utilisent essentiellement les mêmes composants, les variations se situant dans la marge d'erreur des tests de performance.

N'hésitez pas à intervenir, à critiquer et à développer vos réponses au sondage de cette semaine. Souhaitez-vous voir un article avec une explication générale de la manière dont chaque test que nous utilisons reflète l'utilisation des appareils? Veuillez utiliser le champ de commentaires.