[5G] Mediatek et ses Technos pour les séries Dimensity – Part 0

Hello,

Afin de rendre plus lisible les prochains articles sur les séries Dimensity, je vous propose ici de retrouver le bloc dédié aux fonctionnalités Mediatek pour ses SOC 5G.
Cela me permettra ainsi d’éviter de faire des copier-coller entre les fils ou de repartir sur des posts fleuves ^^.

Ceux-ci seront liés aux fils suivants :

• [5G] Mediatek et son Milieu de Gamme : les Dimensity Séries 8×0 – Part 1
• [5G] Mediatek et le haut de gamme : les Dimensity Séries 1100/1200 – Part 2
• [5G] Mediatek et son entrée de Gamme : les Dimensity Séries 7×0 – Part 3
• [5G] Mediatek et son Haut de Gamme : les Dimensity Séries 1000x – Part 4 (WIP)
• [5G] Mediatek annonce son nouveau modem 5G, le M80 – Part 5

Concernant le Sommaire (sera mis à jour au fil des informations récoltées) :

• Les fonctionnalités 5G intégrées

1. Mediatek 5G UltraSave
2. Dynamic Bandwidth Part (BWP) ou Bande Passant Dynamique
3. Connected Mode DRX (C-DRX) ou Mode connecté DRX
4. 5G Carrier Aggregation 2CC CA
5. 5G+5G Dual SIM et VoNR
6. Dynamic Spectrum Sharing (DSS)7. 5G HSR et 5G Elevator (Dimensity 1100/1200)

• Les fonctionnalités propres aux Dimensity de Mediatek

1. MiraVision pour les Smartphones

• AI-PQ (Picture Quality)
• AI-PQ 3.0 Dimensity 1100/1200
• Lecture Vidéo HDR10 + Amélioration Miravision
• HDR Composer (SDR vers HDR)
• Miravision SmartScreen ou Écran intelligent
• Bluelight Defender ou Réducteur de lumière bleue
• Ultra Dimming
• Chameleon Display

2. HyperEngine 2.0

• Prédiction multi-réseau intelligente 2.0
• Commutateur intelligent 5G / 4G
• Appel et données simultanées 2.0
• Moteur de réponse rapide 2.0
• Coexistence multi-périphérique fiable avec optimisation de la latence
• Optimisation de la latence audio Bluetooth
• Moteur de gestion des ressources 2.0

2 Bis. Hypergine 3.0 : Dimensity 1100/1200 (WIP)
3. Mediatek AiPU 3.0

• Edge AI
• MediaTek NeuroPilot

4. Mediatek Imagiq

• VPU : Vision Processing Unit
• Optimisation Dual et Multi Camera
• Optimisation des Scènes de tous les jours
• Optimisation en faible luminosité
• Optimisation de l’enregistrement vidéo

Un petit point sur les différentes Technos 5G intégrés aux Mediatek Dimensity :

MediaTek 5G UltraSave :

Procure des améliorations importantes en matière d’économie d’énergie avec les technologies suivantes :

• Détection de l’environnement réseau MediaTek 5G/4G
• Détection du contenu réceptionner via les Air

La détection de l’environnement réseau UltraSave de MediaTek et la détection du contenu OTA (Over The Air) UltraSave gèrent ensemble le mode de fonctionnement du modem en temps réel pour une meilleure efficacité énergétique. Cet algorithme intelligent ajuste dynamiquement la configuration de l’alimentation et la fréquence de fonctionnement en fonction de l’environnement du réseau et de la qualité de la transmission des données.

Dynamic Bandwidth Part (BWP) ou Bande Passant Dynamique :
En fonction des besoins en temps réel de l’utilisation du Smartphone, le modem peut ajuster dynamiquement l’utilisation de la bande passante pour répondre aux demandes de débit selon le besoin comme pour des données légères ou beaucoup lourdes. Lorsque la charge de travail est légère, elle peut automatiquement passer en mode dit ”Faible bande passante”, réduisant ainsi la consommation d’énergie.

Les spécifications de la technologie de 5ème Génération nécessite l’intégration d’une commutation dynamique entre ces parties de bande passante dites ”étroite” et ”large” (BWP), en fonction du besoin de débit de données en temps réel.

Connected Mode DRX (C-DRX) ou Mode connecté DRX
Même en l’absence d’activité de données, le modem du smartphone restera régulièrement alimenté en veille connectée. Cette technologie est également prise en charge lorsque la 5G et la 4G sont connectées simultanément.

5G Carrier Aggregation 2CC CA
Une couverture de débit de plus de 30% supérieure
En gérant de manière transparente et natives les connexions 5G sur une plusieurs couches de couverture réseaux, les utilisateurs peuvent obtenir une meilleure couverture de couche avec un débit supérieur de 30% supérieure à ceux sans CA (Carrier Aggregation).
Cela dépend des fournisseurs d’accès 5G et leurs services afin de fournir une expérience de connectivité plus cohérente le tout avec une plus grande portée.
(Les fameuses techno Support 5G NSA/SA qui permette une couverture plus lointaine mais plus faible en débit, couplée au mmWaves, plus rapide mais avec une portée anémique).

Vu que nous sommes en 2CC CA, selon la configuration choisie par le constructeur du téléphone, le modem pourra agréger par exemple :
n1+n3, n3+n7, n1+n20, n1+n28, n3+20 etc etc. Pas la peine de parler des n26x inexistantes en France avant 2023.
Selon la configuration d’agrégation, le modem permettra des débits jusqu’à 2300Mbps en descente, et la bascule ou la perte d’une antenne 5G sur les 2 devrait être transparente pour l’utilisateur sans perte de connexion au moment venu. Ci-dessous un exemple des 1ers tests sur ce sujet

5G+5G Dual SIM et VoNR
Comme cela a été souvent évoqué ici avec l’absence de Dual Sim pour le Mi 10 Séries, de DSDS 5G pour les autres produits de la marque sous Qualcomm SOC 5G, Mediatek propose le Dual Sim Dual Standby compatible 5G sur les 2 SIM avec en prise en charge du VoLTE, ViLTE et VoWifi mais aussi de la VoNR.

• VoLTE : Voice Over LTE
• ViLTE : Video Over LTE (oui aux US on l’utilise sans avoir besoin de passer par Duo, on peut passer des appels vidéo en natif)
• VoWiFi : Voice Over WiFi (les appels WiFi)

Alors le VoNR C’est un peu le fourre-tout de tout ça en utilisant les évolutions soft Radio (New Radio) le tout sur les porteuses 5G.
Les spécifications concernant le transport de la voix sont actées, les autres services c’est un peu plus nébuleux.
Mediatek annonce que VoNR sera actif sur les 2 SIMS en 5G et même temps, suivant les spécificités 3GPP. Bref faites une croix pour la France. L’Arcep n’a juste demandé aux opérateurs de ne porter que le VoLTE sur la 5G à date, vu que notre 5G n’est que du LTE-A (et encore pour le -A). On sera alors dans une des options palliatives pour re router le signal vers le LTE 4G pour le VoNR et non en natif.
Plusieurs explications de la techno existent mais je vais éviter de noyer tout le monde vs les explications technique 😀

Une vidéo de démonstration

Dynamic Spectrum Sharing (DSS)
Même si le réseau et les services 5G se développent rapidement (dans le monde), les services 4G LTE existants resteront toujours en fonctionnement en arrière-plan et pendant plusieurs années.

Un aspect clé permettant une transition en douceur est la technologie de partage dynamique du spectre (DSS). À l’aide d’une simple mise à niveau du logiciel du réseau, les fournisseurs de services cellulaires peuvent permettre à la 5G et à la 4G de coexister en même temps et d’allouer dynamiquement la bonne quantité de spectre à chacun en fonction de la demande.

MediaTek a collaboré avec des fabricants d’équipements 5G et des opérateurs mondiaux pour valider les technologies DSS, permettant ainsi des SoC Dimensity 5G intégrés prêts à prendre en charge le DSS lors de son déploiement.

Donc en clair, les antennes comme la 700Mhz n’émettent que sur la 700Mhz, mais émettent en même temps la 5G et la 4G indistinctement. Cela demande donc un déploiement soft et une MAJ des équipements niveau matériel pour le permettre. Cela évite d’émettre de la 700 sur une porteuse 4G dédié sur tant de blocs de fréquences et distinctement envoyé un autre signal sur une autre porteuse 5G sur tel ou tel bloc de fréquence.

Déployée le DSS sur nos sites et nos antennes est théoriquement le plus rentable et le plus logique à ce niveau. A date les antennes à base d’Ericsson ou Nokia équipés des modules de traitement électroniques appropriés, capables de réaliser le Software Defined Radio (SDR) sont théoriquement compatible.
De toutes mes recherches seuls Free l’a confirmé sur une partie de son parc pour la 700Mhz… Pour le reste soit c’est confidentiel, soit personne n’a posé la question… Si Free a fait ce tour de passe IRL, en appuyant sur un bouton il peut couvrir 50% de la population en 5G NSA via la n28 tout en conservant sa B28.

Les Technos propres à Mediatek :

MiraVision pour les Smartphones

AI-PQ (Picture Quality)
Adaptant sa première technologie d’IA-PQ MediaTek dans les Smart TV, AI-PQ dédiés aux smartphones fonctionne en analysant différents types de scènes en temps réel, puis en traitant ces informations avec son moteur P.Q (oui je sais…) pour appliquer les paramètres adaptatifs à la scène afin de générer une qualité d’image maximale. N’oublions pas que Mediatek équipe bon nombre de TV et est même partenaire de Xiaomi/Redmi.
La détection de scène peut reconnaître des thèmes communs tels que les personnes, la nourriture, les paysages et l’architecture.
VS les paramètres de qualité d’image conventionnels classiques qui offrent un paramètre fixe unique pour tout type de scènes, il en résulte une dégradation de la qualité d’image en temps réel car le contenu regardé varie à tout moment.
Avec AI PQ et son traitement intelligent, MediaTek offre une qualité d’image plus vraie et ce sans compromis.

Lecture Vidéo HDR10 + Amélioration MiravisionMiraVision Video prend en charge la dernière norme HDR10 + pour le streaming vidéo et jusqu’à des résolutions 4K.Même la vidéo HDR10 de base peut être mise à niveau vers le HDR10+ en temps réel, avec un ajustement dynamique de chaque image.

Étant donné que tous les écrans de smartphone sont différents, MiraVision est flexible et évalue les capacités d’affichage de différents appareils, en optimisant en conséquence via une technologie de re-cartographie unique.

HDR Composer (SDR vers HDR)

Convertit dynamiquement et intelligemment la vidéo SDR standard, qu’elle soit capturée à partir de la caméra ou diffusée depuis le cloud, en qualité HDR avec un contraste accru, pour des visuels à couper le souffle et une expérience cinématographique visiblement supérieure.

Miravision SmartScreen ou Écran intelligent

SmartScreen optimise la lisibilité de l’affichage tout en économisant de l’énergie. Il détecte d’abord l’éclairage ambiant et évalue le contenu à l’écran. Ensuite, la technologie contextuelle garantit la meilleure expérience de visionnage, même dans des conditions d’éclairage extrêmes, tout en optimisant la consommation d’énergie.

Bluelight Defender ou Réducteur de lumière bleue

BluLight Defender est la solution qui réduit l’énergie de la lumière bleue tout en maintenant la qualité des couleurs grâce à la technologie de récupération des couleurs de la mémoire. BluLight Defender économise l’énergie et est capable de minimiser les distorsions de couleur. Contrairement aux applications tierces, cette fonctionnalité matérielle ne produit pas d’effet de teinte jaune et surpasse par conséquent les alternatives en termes de confort de visualisation.

Ultra Dimming

Notre technologie Ultra Dimming va au-delà de la limitation physique du module de rétroéclairage par un traitement avancé basé sur les pixels en temps réel pour fournir une émission de lumière plus faible, mais lisible. Classiquement indisponible pour les situations de très faible éclairage, notre technologie Ultra Dimming améliore le confort de visualisation, en particulier dans les environnements plus sombres.

Chameleon DisplayNotre technologie d’affichage Caméléon surveille l’environnement et ajuste l’affichage pour refléter le confort de visualisation semblable à celui d’une impression sur un appareil électronique.

Concernant la partie GPU

HyperEngine 2.0 + Networking Engine (Jeu en ligne notamment)

Prédiction multi-réseau intelligente 2.0Le moteur de prédiction multi-réseau intelligent de deuxième génération de MediaTek réagit en quelques millisecondes aux changements d’état de la connectivité sur les connexions 5G NR, 4G LTE et Wi-Fi. Il initie la simultanéité multi-réseaux en fonction de la ou des meilleures connexions disponibles, réduisant la latence du réseau de jeu et garantissant la fiabilité. Cet avantage est particulièrement notable lors de l’utilisation d’un réseau encombré ou lorsque le signal vers n’importe quel point de connexion devient soudainement plus faible.

Commutateur intelligent 5G / 4G
Les produits MediaTek Dimensity sont dotés de modems 5G complets intégrés avec une connectivité 2G-5G et EN-DC complète. Cette conception de puce à la pointe de l’industrie nous a permis de permettre une prédiction intelligente de la bande passante nécessaire à différentes applications. En commutant de manière proactive entre les connexions 5G NR et 4G LTE pour le meilleur équilibre entre le débit de données et la consommation d’énergie, nous maximisons la durée de vie de la batterie.

Appel et données simultanées 2.0
Le moteur de stabilisation de réseau intelligent de deuxième génération de MediaTek associe les avantages de la 5G et de la double carte SIM pour créer la solution la plus complète pour les appels continus et la simultanéité des données.
DSDA 5G ”double canal ”: les modes 5G autonome (SA) et non autonome (NSA) sont simultanément pris en charge sur les deux emplacements SIM (où la 5G + 5G est disponible), donc lors de la réception d’appels 5G NR / 4G LTE / 3G / 2G via SIM1 ou SIM2, la connexion de données 5G utilisée par le jeu restera toujours active.
Les SoC intégrés à MediaTek Dimensity 5G offrent une connectivité 2G-5G complète et un leadership sur le marché 5G + 5G, ce qui en fait une fonctionnalité unique.

Moteur de Réponse Rapide

Moteur de réponse rapide 2.0
Le moteur de réponse rapide de deuxième génération de MediaTek fournit une connexion directe au niveau de la puce à l’écran tactile à un minimum de 240 Hz (fréquence d’échantillonnage par seconde). Cela garantit la latence la plus faible et la réponse la plus rapide de la saisie tactile, vous donnant un avantage en une fraction de seconde dans le jeu pour devancer la concurrence.

Coexistence multi-périphérique fiable avec optimisation de la latence
Les joueurs sérieux sur smartphone connectent souvent plusieurs périphériques à des smartphones tels que des contrôleurs de jeu et des casques via Bluetooth, tout en utilisant souvent une connexion Wi-Fi. La coexistence multi-périphérique fiable signifie que l’environnement sans fil est soigneusement géré pour éviter les interférences et les maintenir connectés de manière fiable et transparente avec une faible latence.

Optimisation de la latence audio Bluetooth
MediaTek a optimisé l’audio Bluetooth pour minimiser la latence entre l’encodage audio du jeu et l’envoi du signal BT, créant un pipeline de latence ultra-faible jusqu’à 60% plus rapide que les alternatives propriétaires de ses concurrents. La latence audio améliorée fonctionne en conjonction avec les optimisations à faible latence d’HyperEngine pour le GPU et le pipeline d’affichage, garantissant que les actions visuelles et audio sont à la fois plus rapides et, surtout, synchronisées.
https://www.youtube.com/embed/8bKLhdDFQCY
Moteur de gestion des ressources 2.0
Le moteur de gestion intelligente des ressources de deuxième génération de MediaTek permet une jouabilité plus longue avec des performances optimales. Étant donné que chaque jeu impose des exigences différentes au SoC, le moteur de gestion des ressources intelligent de MediaTek équilibre activement les ressources disponibles – entre le processeur, le GPU et les autres éléments de traitement – pour assurer une expérience FPS complète et fiable, que ce soit à 60, 90, 120 ou 144 images par seconde.

Le moteur tire le meilleur parti des performances du processeur des puces de la série Dimensity, accélérant les tâches de jeu pour minimiser des éléments tels que le temps de lancement et les nouvelles transitions carte / scène, par exemple. Le résultat est une expérience de jeu toujours rapide et fluide qui prolonge la durée de vie de la batterie pour maximiser le temps de jeu.

Concernant l’IA :

Mediatek AiPU 3.0

Edge AI

L’évolution rapide des cas d’utilisation améliorés par l’IA change la façon dont les appareils sont créés et utilisés. Cette évolution de la demande, ainsi que la capacité croissante des technologies d’IA, forcent les produits à traiter les améliorations de l’IA ”à la périphérie”, en bout de course, surtout concernant les produits disponibles à la maison, dans un véhicule ou portés par une personne. Plutôt que de compter uniquement sur le support connecté au Cloud, l’APU dédié est capable de prendre le relais en toute condition.
Les avantages de cette technologie de pointe comprennent l’immédiateté et donc le temps réel, la confidentialité des données et une consommation d’énergie globale plus faible. Pour les fabricants d’appareils, il n’est pas non plus nécessaire de déployer une infrastructure Cloud de support dans chaque région dans laquelle un produit est vendu, ce qui réduit le temps de mise sur le marché.

MediaTek NeuroPilot
Nous relevons le défi Edge AI avec MediaTek NeuroPilot. Grâce à des capacités de calcul hétérogènes telles que les processeurs, les GPU et les APU (unités de traitement IA) que nous intégrons dans nos produits de système sur puce, nous fournissons des performances et une efficacité énergétique élevées pour les fonctionnalités et les applications d’IA. Les développeurs peuvent cibler ces unités de traitement spécifiques au sein du système sur puce ou, ils peuvent laisser MediaTek NeuroPoint SDK gérer intelligemment l’allocation de traitement pour eux.

Ci-dessous un exemple d’applications AR/IRL via l’AI dédiée intégrée aux Dimensity. L’exemple se base sur le Dimensity 1000+

Au tour maintenant de la partie photos/vidéo :

Mediatek Imagiq et son VPU dédié (Vision Processing Unit)
Le discours commercial et de permettre aux cinéastes et aux photographes une expérience plus simple, la meilleure et aussi la plus rapide.

• Plus Simple :

Imagiq propose des fonctionnalités d’imagerie professionnelles avec les technologies mobiles MediaTek faciles à utiliser. Nous permettons à quiconque de prendre de superbes photos en un instant. Mieux encore, il n’y a plus besoin d’avoir un reflex numérique lourd à transporter sur soi.

• La Meilleure :

Révélez votre artiste intérieur avec les appareils compatibles Imagiq. Les effets à double caméra, les améliorations d’image et autres technologies photo/vidéo exclusives fonctionnent de concert pour vous offrir des moyens à l’infini pour exprimer votre créativité.

• Plus Rapide :

Pas besoin d’apprendre le jargon professionnel ou tous les paramètres de l’appareil photo en mode Pro. Imagiq vous fait gagner du temps en automatisant ceux-ci.Visez, tirez et soyez surpris. Vous prendrez de superbes photos en un seul clic.
Belles promesses sur le papier.

Description du VPU :

• Ce qu’il fait

L’unité de traitement ”Vision” est une plate-forme matérielle dédiée qui prend en charge de nombreuses fonctionnalités de caméra.

• Efficace et Intelligent

Notre VPU dédié a la capacité de traitement en temps réel d’un processeur, mais utilise beaucoup moins d’énergie.

• Facile à personnaliser

Très flexible, notre VPU permet aux fabricants d’appareils et aux marques d’adapter et de modifier les fonctions de l’appareil photo (et c’est là où c’est tricky, on propose le Best, mais si derrière personne n’est capable de l’exploiter…)

• Performances Boostées

Utilisant le CPU, le GPU et la mémoire, leur VPU permet des effets de post-traitement meilleurs et plus rapides.

Multi-Camera Smartphones

• Une grande variété de choix de capteurs et d’objectifs supportés :

MediaTek Imagiq prend en charge une grande variété de types de capteurs et d’objectifs, offrant aux marques une portée illimitée pour construire des smartphones multi-caméras innovants (selon les SOC embarqués)
Cela comprend des capteurs avec des résolutions extrêmes, des capteurs utilisés exclusivement pour des fonctions populaires telles que la capture de bokeh, des capteurs monos pour une sensibilité à la lumière améliorée ou des capteurs spécialisés pour des applications uniques. Les objectifs associés peuvent s’adapter à une multitude de styles de capture, notamment le zoom, le grand angle, la macro ou simplement la photographie de tous les jours.

• Moteur de profondeur matérielle sans latence

La faible profondeur de champ (DoF), ou «bokeh», est une technique populaire qui attire l’attention sur un seul objet dans un cadre, tout en adoucissant la zone environnante. En utilisant le moteur de profondeur matériel d’assistance et haute performance lors de la capture, les utilisateurs visualisent des aperçus en direct de l’effet bokeh, en temps réel et avec une qualité incroyablement élevée avant de capturer le moment. En utilisant du matériel dédié, cette tâche généralement gourmande en calcul est désormais extrêmement économe en énergie et agit sans latence.
Optimisations de Scènes :

Pour cela, les processeurs d’intelligence artificielle et d’imagerie innovants d’Imagiq et ainsi que les accélérateurs matériels optimisés travaillent ensemble afin de vous permettre d’obtenir des photos et des vidéos incroyables chaque fois que vous sortez l’appareil photo pour capturer l’instant et ce quelques soit les conditions environnantes.Ces technos reposent sur :

• AI-Camera

Nous avons étroitement lié notre puissante IA et sa puce dédiée avec les opérations et informations de la caméra au coeur même du chipset utilisé pour améliorer un large éventail d’usages tels qu’une exposition plus rapide et plus précise, la mise au point, la balance des blancs et la réduction du bruit, même en capture HDR. Ces technologies sont conçues pour être fiables et complètement automatisées, de sorte que l’utilisateur n’a qu’à se concentrer sur la capture du moment.
Imagiq AI-Camera fournit également des fonctionnalités inédites qui vont de la perception visuelle (abstraction) à la construction d’image, en passant par les améliorations au niveau des pixels.

• AI-Noise Reduction with HDR
• AI-Auto Exposure
• AI-Auto Focus
• AI-Auto White Balance
• AI-Shutter

• HDR-native, multi-core ISP

MediaTek a développé des ISP (Image Sensor Processor) natifs HDR et multicœurs qui offrent des performances extrêmement élevées avec une efficacité énergétique exceptionnelle. Utilisant une conception de calcul parallèles uniques mélangeant les processeurs ”Big et Little ARM”, il permet de redistribuer les ressources au bon ISP dédié selon le bloc optique et son utilisation.
Conçues pour une expérience centrée sur la vidéo autant que pour la photographie, nos ISP fonctionnent en conjonction avec le matériel APU de MediaTek pour fournir les résultats de photographie et de capture vidéo les plus étonnants.

• Camera Control Unit (CCU) + Instant AE

Une unité de contrôle de la caméra (CCU) dédiée permet une exposition automatique instantanée pour un réglage de l’exposition de mise au point considérablement plus rapide par rapport aux méthodes traditionnelles, vous permettant de capturer librement même lorsque les conditions d’éclairage locales changent soudainement.

• Rolling Shutter Compensation (RSC)

La technologie Imagiq Rolling Shutter Compensation (RSC) atténue intelligemment la vidéo déformée (”effet jello”), ce qui est particulièrement apparent lors de la capture de vidéo 4K ou lors d’un panoramique avec la caméra.

Optimisation en faible luminosité

Capturer un moment de nuit ou dans des environnements mal éclairés peut être difficile. Imagiq s’adapte automatiquement pour sécuriser des détails étonnants dans les images et les vidéos, avec des techniques intelligentes de réduction du bruit qui fonctionnent automatiquement

• AI Noise Reduction

La technique Imagiq AI Noise Reduction (AI NR) offre de meilleurs résultats lors de la capture dans des environnements à faible éclairage. En utilisant notre traitement matériel IA économe en énergie, il peut améliorer le ration précision VS bruit ISO en le réduisant. Les résultats conservent ainsi des détails fins et des couleurs précises, vous permettant de saisir l’appareil photo et de prendre des photos à tout moment, n’importe où.

• Multi-Frame Noise Reduction (Images)

Notre moteur avancé de fusion multi-images offre une réduction du bruit et améliore la précision des captures d’image.

• Multi-Scale Noise Reduction (Vidéos)

La réduction du bruit améliore la qualité des aperçus vidéo et des enregistrements en surveillant et en compensant les pixels erronés en temps réel, ce qui se traduit par une image nettement plus claire.