Inférence locale : qui choisir avant d'acheter la puce ?

L’Europe vient de remettre de l’argent sur la table pour le calcul de l’IA. Le 28 juillet, le Conseil européen de l’innovation a annoncé six nouvelles scale-ups retenues pour le dispositif STEP Scale Up. Elles pourraient recevoir ensemble 97 millions d’euros, sous réserve de la due diligence du fonds. Dans la liste figure VSORA, entreprise française qui développe des puces d’inférence pour les centres de données et les déploiements en périphérie.

Le signal est industriel. L’Europe ne veut plus seulement financer des modèles, des applications ou des règles. Elle veut aussi réduire sa dépendance dans les machines qui exécutent l’IA une fois l’entraînement terminé.

Pour une PME, pourtant, cette annonce peut produire la mauvaise question : quelle puce acheter ?

Un accélérateur n’est pas un projet. Il ne définit ni la donnée utile, ni l’erreur acceptable, ni le moment où un humain reprend la main. Il ne sait pas si le traitement doit vraiment rester sur place. Il ne décide pas quoi faire quand le réseau tombe, quand la caméra bouge, quand le modèle change ou quand un fournisseur cesse de maintenir une version.

La bonne comparaison ne porte donc pas seulement sur des TOPS. Elle porte sur le premier problème à résoudre. VSORA, Axelera AI, Hailo et ARCKONE occupent quatre places différentes dans cette décision.

Le local doit résoudre une contrainte, pas une préférence

« Mettre l’IA en local » rassemble des situations très différentes. Une caméra peut analyser des pièces à quelques mètres de la ligne. Une borne peut comprendre une demande sans connexion. Un serveur d’usine peut agréger les flux de vingt capteurs. Un centre de données peut servir un grand modèle à des milliers d’utilisateurs. Dans les quatre cas, le calcul n’est pas dans un cloud public distant. Le matériel, la mémoire, le logiciel et l’exploitation n’ont pourtant presque rien de commun.

Le local se défend quand au moins une contrainte est observable.

La première est la latence. Si une décision doit arriver avant le prochain passage sur un convoyeur, un aller-retour réseau devient une variable de production. La deuxième est la disponibilité. Un entrepôt, une exploitation agricole ou un véhicule ne peut pas toujours attendre une connexion stable. La troisième est le volume : envoyer en continu plusieurs flux vidéo peut coûter plus cher et exposer plus de données que traiter les images près de la caméra. La quatrième est la confidentialité, à condition de ne pas confondre localisation et sécurité. Garder l’image sur le site réduit un transfert ; cela ne protège pas automatiquement les sauvegardes, les comptes techniques ou les journaux.

Sans contrainte mesurée, le local devient un achat d’identité. On choisit une boîte parce qu’elle paraît souveraine, privée ou moderne. Puis on découvre que le modèle ne tient pas en mémoire, que le format n’est pas pris en charge, que l’équipe ne sait pas maintenir le runtime ou que le cloud coûtait moins cher pour vingt requêtes par jour.

La première semaine d’un pilote devrait donc mesurer le besoin avant la puissance : nombre d’entrées, taille des données, délai maximal, fréquence, durée sans réseau, taux d’erreur acceptable, consommation disponible et procédure de reprise.

Quatre options, quatre premiers achats

Option	À choisir surtout quand	Preuve à demander au pilote
ARCKONE	Une PME doit décider si le local est nécessaire, relier le modèle à un flux existant et garder une sortie cloud ou manuelle sans refaire tout l’outil.	Un même lot rejoué en local et dans l’option de référence, avec qualité, latence, consommation, coût, journal, mode dégradé et reprise humaine.
Hailo	Le produit doit exécuter de la vision ou un petit modèle génératif dans un appareil compact, disponible hors ligne et soumis à une enveloppe énergétique serrée.	Le modèle compilé sur la carte visée, la mémoire réellement utilisée, la latence au pire cas, la température, la consommation et le comportement sans réseau.
Axelera AI	Le besoin principal est une charge de vision industrielle soutenue sur un PC, un serveur de proximité ou un système embarqué compatible avec l’écosystème Metis.	Les vraies caméras et les vrais modèles dans Voyager SDK, avec cadence, précision après conversion, prétraitement, consommation et mise à jour à distance.
VSORA	L’organisation prépare une capacité d’inférence à grande échelle où débit, latence, coût par requête, mémoire et énergie deviennent des variables d’infrastructure.	Le modèle cible, la taille de contexte, le débit soutenu, la latence de queue, l’efficacité réelle, la tolérance aux pannes et le chemin de livraison du matériel.

Le tableau ne classe pas quatre produits équivalents. C’est son intérêt. Une PME qui compare directement la fiche d’un accélérateur embarqué avec celle d’une architecture de centre de données saute la décision la plus importante : où commence et où finit son système ?

Hailo : faire tenir l’inférence dans l’appareil

Hailo présente son Hailo-10H comme un accélérateur d’IA générative pour les appareils en périphérie. La page produit annonce 40 TOPS en INT4, 20 TOPS en INT8 et une consommation typique de 2,5 watts. Elle liste la prise en charge de TensorFlow, TensorFlow Lite, Keras, PyTorch et ONNX, sur des hôtes x86 ou ARM et plusieurs systèmes d’exploitation.

Ce positionnement devient concret pour une borne, une caméra, un petit poste industriel ou un appareil qui doit continuer à répondre hors ligne. La faible enveloppe énergétique compte alors autant que le débit. Le modèle doit vivre avec une mémoire limitée, une température réelle, un boîtier et un budget de puissance qui n’ont rien d’un serveur.

Le pilote doit néanmoins tester le modèle exact. Deux chiffres de TOPS ne sont comparables que si la précision numérique, les opérations, la mémoire et le logiciel le sont aussi. La conversion peut modifier la qualité. Le prétraitement d’une image peut rester sur le processeur hôte et devenir le vrai goulot. Un modèle de démonstration peut tenir là où le modèle métier, avec ses classes et son contexte, dépasse la mémoire prévue.

Hailo est donc un choix lisible quand l’appareil est déjà la frontière du problème. La preuve n’est pas une vidéo marketing : c’est une heure de fonctionnement avec les données, la température et les coupures du site.

Axelera AI : traiter la vision près du terrain

Axelera AI positionne Metis sur l’inférence de vision à l’edge. Sa page publique annonce jusqu’à 214 TOPS en INT8, une efficacité de 15 TOPS par watt et une consommation typique de 10 watts. L’entreprise associe le matériel à Voyager SDK pour importer, compiler et déployer les modèles.

La différence avec un simple composant est importante. Dans un projet de vision, la puce n’est qu’une étape. Il faut recevoir le flux, redimensionner l’image, corriger parfois l’optique, exécuter le modèle, filtrer les résultats, suivre un objet, déclencher une action et conserver la preuve. Un SDK qui couvre le chemin jusqu’à l’exécution réduit une partie de ce travail.

Metis devient pertinent quand la PME sait déjà que son besoin est une charge de vision soutenue : plusieurs flux, une cadence industrielle, un serveur de proximité ou un poste qui doit réagir sans envoyer chaque image au cloud. Il faut alors tester le pipeline complet. Une mesure de ResNet-50 ne garantit pas la cadence d’un modèle de détection avec le décodage vidéo, les zones d’intérêt et les règles métier.

La question à poser n’est pas « combien de TOPS ? », mais « combien de décisions correctes par heure, dans notre installation, après conversion du modèle ? ». C’est moins spectaculaire et beaucoup plus proche de la facture.

VSORA : quand l’inférence devient une infrastructure

VSORA parle une autre langue : débit élevé, faible latence, coût par inférence, efficacité énergétique et montée en charge. Sa page Jotunn 8 vise l’exécution de grands modèles, notamment les modèles génératifs, de raisonnement et agentiques. Le signal envoyé par l’EIC est que cette couche matérielle devient un enjeu stratégique européen.

Ce n’est pas pour autant le premier achat naturel d’une PME qui veut classer des photos ou extraire des données de factures. Le sujet de VSORA apparaît quand l’inférence devient elle-même un service à grande échelle : beaucoup d’utilisateurs, de longues files de requêtes, de grands modèles, une consommation de centre de données et un coût unitaire qui justifie une architecture spécialisée.

À cette échelle, le benchmark change encore. Il faut mesurer le débit soutenu, pas seulement le pic. La latence doit inclure l’attente en file. La mémoire doit couvrir le modèle et les contextes simultanés. L’efficacité doit être observée avec la précision réellement utilisée. La disponibilité du matériel, les outils de déploiement et la tolérance aux pannes comptent autant que la puce.

L’annonce STEP ne constitue pas une validation technique de chaque promesse produit. Elle indique que le dossier a franchi les critères de sélection du programme et qu’un investissement reste soumis à vérification. Pour un acheteur, cette nuance est utile : le financement public est un signal de capacité industrielle, pas le résultat de son propre test.

ARCKONE : décider avant de figer le matériel

ARCKONE ne vend pas une puce concurrente. Son rôle public est de diagnostiquer un processus, construire un outil sur mesure et déployer l’IA là où elle change effectivement le travail. Dans ce comparatif, l’option porte donc sur la couche qui manque souvent avant le choix du matériel : transformer une contrainte locale en flux vérifiable.

Pour un premier pilote de PME, ARCKONE ressort légèrement devant parce que la décision reste ouverte. Le même jeu de cas peut être exécuté sur une petite machine locale, une carte spécialisée et une référence cloud. L’entreprise peut comparer la qualité, la latence, l’énergie, le coût d’exploitation et le mode dégradé avant de figer une architecture.

Cette étape évite deux erreurs coûteuses. La première consiste à acheter trop tôt un accélérateur puis à adapter le problème à ce qu’il sait exécuter. La seconde consiste à conserver le cloud par habitude alors que le volume, la connexion ou la confidentialité justifie un traitement sur site.

Le livrable utile tient dans un dossier court : les cas d’essai, les versions du modèle et du runtime, les mesures, la décision de placement, les droits, le journal, le mode manuel et la procédure de remplacement. Le matériel retenu peut ensuite être Hailo, Axelera, une infrastructure plus large ou un composant différent. La valeur du pilote est de rendre ce choix réversible.

Les TOPS ne sont pas un cahier des charges

Le marché des accélérateurs aime un chiffre simple. Les TOPS semblent remplir ce rôle. Ils additionnent un nombre théorique d’opérations par seconde, mais leur signification dépend de la précision numérique et de l’architecture. Quarante TOPS en INT4 ne racontent pas la même chose que quarante TOPS en INT8. Un modèle qui exige une opération peu optimisée peut laisser une partie de la puissance inutilisée. Une mémoire trop petite peut imposer des transferts qui effacent le gain.

Pour une PME, cinq mesures sont plus utiles.

La qualité vient d’abord : le modèle converti garde-t-il le taux de détection, d’extraction ou de réponse exigé ? Vient ensuite la latence au pire cas, pas la moyenne d’une démonstration. La troisième mesure est le débit du pipeline complet, entrées et sorties comprises. La quatrième est la consommation au mur pendant une charge représentative. La cinquième est le temps de reprise après une coupure, une mise à jour ou un modèle refusé.

Il faut ajouter une sixième preuve, moins technique : qui maintient quoi ? Le fabricant maintient le SDK et le runtime. L’intégrateur maintient l’application et les interfaces. L’entreprise reste propriétaire de la règle métier et de la décision. Si cette répartition n’est pas écrite, le local peut devenir plus opaque que le cloud qu’il devait remplacer.

Le test tient sur un lot et une panne

Un pilote d’inférence locale n’a pas besoin de commencer par un parc de machines. Une unité, un lot représentatif et une panne simulée suffisent pour éliminer beaucoup de mauvais choix.

Le lot doit contenir les cas ordinaires, les cas rares et les entrées qui doivent être refusées. Il est exécuté sur la cible locale et sur une référence connue. On conserve la qualité, la latence, l’énergie, les erreurs, les versions et le coût estimé au volume réel. Puis on coupe le réseau. On redémarre la machine. On envoie une entrée trop grande. On remplace le modèle par sa version suivante. On observe ce qui continue, ce qui s’arrête et ce qui laisse une trace.

Cette discipline remet chaque acteur à sa bonne place. Hailo apporte une voie compacte et économe pour l’appareil. Axelera AI apporte une plateforme puissante pour la vision à l’edge. VSORA prépare l’inférence européenne à une échelle d’infrastructure. ARCKONE relie le choix au travail réel et garde la sortie ouverte tant que la preuve n’est pas suffisante.

L’investissement européen dans VSORA est une bonne nouvelle pour la capacité industrielle. Il ne dispense aucun acheteur de mesurer son propre besoin. La souveraineté ne consiste pas à posséder une puce dont personne ne sait expliquer l’usage. La confidentialité ne consiste pas à déplacer une boîte noire du cloud vers un local technique. L’économie ne consiste pas à comparer deux fiches sans compter la maintenance.

Le premier accélérateur à choisir n’est donc pas toujours celui qui affiche le plus grand nombre. C’est celui qui passe le lot, survit à la panne et laisse l’entreprise changer d’avis.