Benchmark Bashing, le Retour ? Mais pourquoi ? [Mediatek Inside]

Hello All,

J’avais évoqué lors d’un échange sur un autre fil le retour du Benchmark Bashing, une pratique que tous les concurrents de Qualcomm ont eu droit, de Samsung en 2014 quand ses Exynos étaient alors plus performants que Qualcomm, ceux-ci étant au creux de la vague sur cette période, Intel avec son architecture x64 à l’époque d’Android 4.x (ICS) etc etc.

Avec le retour de Mediatek sur le devant de la scène, le constructeur chinois n’y coupe pas. A quand le G90T est plus performant que le SD 730G et le SD 720G, à quand le SD 720G est plus performant que le SD 730G et donc le G90T, bref à chaque régie presse, ses messages (et son niveau de partenariat avec une marque).

En France nous avons 01Net (faisant partie du même groupe que BFM (tout est dit)/RMC, Meilleur Mobile et cie) et Humanoid regroupant FrAndroid, Numérama et cie… Pour certains pas besoin d’aller plus loin vous aurez vite compris où se situe le nerf de la guerre et pour d’autres, c’est un autre sujet.

• Mais reprenons depuis le début : Les constructeurs et les Benchmarks.

Fin des années 99, début 2000, le gaming, la 3D, l’arrivée de l’ADSL (entre 128 et 512 Kbps, qui se rappellera de cette raie manta Orange/FT bugué à mort sur les chipset VIA USB à cause de l’oubli d’une fonction stop) font leur apparition.
Différents chipsets, différents CPU, GPU (les AMD K6 et cie, 3Dfx, Verge etc), bref un classement doit être fait pour les départager tous, et 3DMark débarqua.

La jungle mes amis, la jungle :
En effet au début, au fil des années différentes pratiques se mettent en place pour optimiser les résultats des tests sur ce Benchmark devenu mythique.
En 1er les optimisations matériel de bas niveau au ** des CPU, des GPU, viendra ensuite les optimisations niveau carte mère (l’overclock n’existant pas à l’époque, les cartes mères boostaient les fréquences du bus CPU comme ceux des ports AGP ou plus PCIex), pour finir avec les drivers optimisés.

Oui oui, ma bécane est assez ancienne pour avoir un Mode 3D Mark dédié^^, triche ou optimisations ?
A l’époque, scandale, crise, la triche était partout, c’était plus au niveau de savoir qui le faisait le mieux. Un très grand constructeur avait même optimisé ses pilotes pour que la 3D calculée non visible sur une scène ne soit finalement pas prise en compte pour ré allouer la puissance de calcul sur les parties visible à l’écran seulement. A chaque fois, l’éditeur de 3D Mark mis à jour son Benchmark, lancera des vérifications softs pour éviter ce genre de chose.

Mais voilà avec le temps, ces moyens détournés pour perfomer et qualifiés de ”tricherie” sont devenus des optimisations voire mêmes des fonctionnalités permettant de vendre (le marketing et la com’ étant passés par là)
Les optimisations du matériel des CPU et GPU sont devenus communes et accessibles aux développeur de Jeux Vidéos afin d’améliorer l’expérience de Jeu, on se rappellera que Windows a du mettre à jour son noyau avec le renouveau d’AMD et ses Ryzen pour prendre en charge justement ces optimisations, le boost des fréquences est devenu un argument de vente avec la mode de l’overclocking et les CPU unlock K chez Intel, et les optimisations des Drivers… Et à chaque nouveau Jeu AAA, sa mise à jour des pilotes graphiques pour optimiser le rendu, la fluidité ou même les profils SLI…

Bref, avec le recul, on constate surtout que ceux qui ont parlé de ”Triche” étaient surtout des sites tenus par certains constructeurs à l’époque, la publicité sur internet ne générant pas autant de profits que maintenant.

• Optimisations software, Nouvelles Fonctionnalités ou alors le spectre du retour de la Triche ?

Il semblerait que ce soit le mot ”Triche/Cheat” qui l’emporte et qui se répand comme une traînée de poudre alors qu’à date, cela vient juste d’une interprétation d’un journaliste US (oui, juste 1 personne, pas plus).

Rappel des faits :

• Mediatek revient sur le marché des Chipset
• Mediatek propose des solutions Milieu de Gamme Premium et Haut de gamme qui tiennent la route
• Mediatek fournira les puces 5G à Intel prenant le marché à Qualcomm
• Mediatek est accusé de triche par Andrei Frumusanu sur Anandtech
• Le même groupe que Anandtech s’auto source et reprennent l’information
• 01Net et le même groupe source leur homologue US et reprenne l’info au mot près.

Andrei Frumusanu est connu sur la scène US pour être un des ambassadeurs de Qualcomm, invité à tous les unpacks, il a été très critique (à tort ou à raison, certains modèles Samsung n’étant pas des réussites non plus) envers Samsung au temps des Exynos pour les encenser maintenant qu’ils tournent sous Qualcomm sur le marché Américain et rabaisse régulièrement tout architecture ARM différente de Qualcomm (Comme Huawai et ses Kirin par exemple).

• Alors c’est quoi cette histoire de triche ?

Andrei a réceptionné un Reno 3 Pro Européen sous P95 pour test. Après certains de ceux-ci, ils se rend compte que le P95 de Mediatek performe, certaines fois, bien mieux que le nouveau Dimensity 1000L.

Et là ce le drame… Direct ça part au Pugilat, Mediatek ”cheat” sur les Benchmark et l’info sera reprise telle quelle (en ajoutant une mauvaise traduction en FR de la réponse du Berger à la bergère à savoir de Mediatek à Anandtech).

Alors quel est l’objet du litige ?

Un mode Sport disponible sous les Versions G des Gx0 (supp à G7x) et intégré du coup aux nouvelles Séries Pxx (supp à P60).

• Que fait le mode sport ?

Il permet de ne plus tenir compte des optimisations d’économie d’énergie, fait tourner à 100% les fréquences de tous les coeurs du Chipset ainsi que du contrôleur mémoire, sans prendre en compte la régulation thermique et évitant ainsi le Throttle (Ajustement de la fréquence de fonctionnement vers le Bas VS la chaleur dégagée et donc éviter la surchauffe).

• Ah !! Donc, en fait, le Chipset tourne plein pot à 100% de ses capacités pour un Benchmark ?

Oui

• Le Sport mode Overclock-t-il les composants ?

Non

• Du coup, ca chauffe sous les benchmark ?

Oui s’il est actif. Avantage, on sait les limites hautes en T°c

• Et c’est activé par défaut ?

Non, par défaut c’est désactivée. Chaque constructeur vs son firmware peut décider de le laisser tel quel ou alors de l’activer à souhait.

• Et c’est une fonctionnalité cachée ?

Non, elle est documentée et accessible en clair via le fichier de configuration d’énergie power_whitelist_cfg.xml.

• Un constructeur peut-il donner l’accès de cette fonction à l’utilisateur ?

Oui, certains la baptisent même High Performance Mode ou mode Haute performance.

Bon alors, Optimisations, Fonctionnalités ou Triche évidente de Mediatek ?
Dans ce cas chacun fait son choix et est libre de penser ce qu’il veut. Par défaut Mediatek ne fait que livrer ses puces aux constructeurs de smartphone, file les pilotes, la documentation et laisse le choix aux constructeurs de faire ce qu’ils veulent avec. Comme tout le monde finalement.
Est-ce qu’intéger une fonction pour faire tourner à 100% sans limite ses chipsets peut-il être considéré comme une manière déguisée de tromper le consommateur ?
C’est comme le débat sur les armes, certains diront que c’est dangereux, d’autres avanceront que c’est celui qui la tient qui est un danger et d’autres diront que sans, le problème de l’utilisateur disparait. Chacun sa perception dessus.
Pour de l’informatique, avoir l’option et le choix (moins dangereux que les armes on est d’accord) c’est toujours mieux.

• Quelle a été la réponse de Mediatek sur le sujet ?

La Voici :

Déclaration MediaTek pour AnandTech

MediaTek suit les standards normées et reconnues de l’industrie et reste convaincu que les tests de performance représentent avec parfaitement les capacités de nos puces.
Nous travaillons en étroite collaboration avec de nombreux fabricants mondiaux de smartphones surtout pour tout ce qui concerne les tests et l’analyse comparative de performance des produits équipés par nos puces, mais les constructeurs ont le dernier mot et ont la possibilité de configurer leurs propres produits comme bon leur semble.
De nombreuses entreprises décident de concevoir leurs produits pour fonctionner à des niveaux de performances élevés et à la limite de leur capacités surtout lors des tests de performances afin de montrer et d’exploiter toutes les capacités du chipset. Cela permet de montrer qu’elle est la limite haute des performances sur un chipset en particulier.
Bien sûr, lors d’une utilisation journalière et dans des scénarios dits classiques, il existe une multitude de facteurs qui détermineront les performances de ces mêmes puces.
Par défaut, les chipsets MediaTek sont conçus et configuré pour optimiser la puissance et les performances afin de fournir la meilleure expérience utilisateur possible tout en maximisant la durée de vie de la batterie.
Si l’utilisateur exécute un programme qui nécessite l’éxécution de calculs lourds comme un jeu exigeant, le chipset s’adaptera intelligemment selon des modèles informatiques prévus pour offrir le meilleur des performances sur la durée. Cela signifie qu’un utilisateur pourra expérimenter différents niveaux de performances selon les applications car le chipset gère dynamiquement les ressources CPU, GPU et mémoire en fonction de la puissance nécessaire et des performances requises pour permettre la meilleure expérience utilisateur.
De plus, certaines marques décident d’adapter leur produit selon les régions de commercialisation en proposant plusieurs modes de fonctionnement, entrainant une variation des performances du smartphone en fonction des exigences du marché régional où celui-ci est commercialisé.
Nous pensons que les résultats de Benchmark permettent une bonne représentation des capacités d’un produit et que cela reste conforme aux pratiques des autres sociétés donnant ainsi aux utilisateurs une image précise des performances des différents produits disponibles sur le marché.

A mots cachés, Mediatek indique que ce genre de fonctionnalité est disponible chez les concurrents. Techniquement c’est vrai. Certains d’ailleurs laisse le Chipset décidait du comportement à avoir selon des profils d’éxecution qui lui permet de reconnaître quel programme tourne sur l’OS. Ni le constructeur du Smartphone, ni l’utilisateur n’intervient alors. Un joli pic lancé en indiquant qu’eux laissent le choix aux partenaires de faire bon leur semble et donc aussi de se dédouanner.

Bref voilà un peu plus d’informations que certains sites Medias chez nous ce qui vous permettra de vous faire une idée comme bon vous semble.

Et vous, qu’en pensez-vous ?

Plus de lecture :

• Mi Gazette du 18/04/2020 : https://c.mi.com/thread-3016878-1-0.html
• Mise à niveau du scooter électrique Xiaomi 1S : https://c.mi.com/thread-3023305-1-0.html
• Le K30 5G / Pro 5G trop chers vs la nouvelle concurrence ? Des versions Lite en approche ? : https://c.mi.com/thread-3022363-1-0.html
• Le Xiaomi médaille Express ou la chasse aux Médailles de la communauté : https://c.mi.com/thread-3023035-1-0.html
• Xiaomi Mi 10 Lite et MIUI 12 feront leurs débuts le 27 avril en Chine : https://c.mi.com/thread-3022679-1-0.html

Le lien vers l’article de la Mi Community

https://c.mi.com/thread-3005516-1-0.html