La méthode

Version 0.2 du 26/09/2026 (la version 0.1 datait du 25/09/2026). Publiée avec la première édition ; toute modification crée une nouvelle version datée, et l'historique reste consultable en fin de page.

Ce que mesure le baromètre

Une agence IA vend des chatbots, des agents et des automatisations. Le baromètre vérifie si elle applique à elle-même ce qu'elle vend : est-ce qu'elle répond vite, juste, et est-ce qu'on peut vérifier ce qu'elle affirme.

Chaque agence passe les mêmes tests, aux mêmes dates, avec les mêmes textes. Rien n'est déclaratif : ce que l'agence affirme sans preuve est affiché comme « déclaré par l'agence » et ne rapporte aucun point.

Indépendance

• Gratuit pour les agences. Aucune place, aucun badge, aucune mise en avant ne s'achète.
• Éditeur : Corentin Pinel, entrepreneur individuel (Evolution Agency), SIRET 912 751 542 00016. L'éditeur dirige aussi Revolution Agency, qui est notée avec la même grille, aux mêmes dates, et dont la fiche porte la mention « liée à l'éditeur du baromètre ». Elle n'est jamais mise en avant hors de son rang.
• Aucun lien commercial avec les agences classées : pas de contrat, pas de commission, pas d'affiliation. Toute exception serait affichée sur la fiche concernée (article L111-7 du Code de la consommation).

Qui est évalué

• Agences dont l'offre principale est la conception de chatbots, d'agents conversationnels ou vocaux, ou d'automatisations IA, pour des entreprises.
• Sélection de la première édition : les agences les plus citées par les classements publics, les annuaires (Sortlist, La Fabrique du Net) et les assistants IA sur les requêtes « agence IA », « agence chatbot », « agent conversationnel » ; complétées par des agences régionales (Lyon, Bordeaux, Lille, Nantes, Toulouse, Marseille, Montpellier).
• Deux catégories, classées séparément :
  • Spécialistes : l'IA (chatbots, agents, automatisations IA) est l'offre principale de l'agence.
  • Généralistes avec une offre IA : agences web, ESN ou cabinets dont l'IA est une offre parmi d'autres, présentée sur une page dédiée.
• Une société, une fiche : plusieurs marques rattachées au même SIREN sont regroupées sur une seule fiche, qui cite toutes les marques.
• Exclus : éditeurs de logiciels sans prestation, médias et comparateurs, organismes de formation, ESN de plus de 250 salariés, cabinets de conseil en stratégie, indépendants sans structure.
• Une agence peut demander à être ajoutée à l'édition suivante. Elle ne peut pas demander à être retirée d'un classement fondé sur des données publiques, mais elle peut corriger une erreur à tout moment.

La grille, sur 100 points

Bloc	Points	En une phrase
Réactivité	25	Répond-elle, et en combien de temps
Justesse	20	Ses réponses sont-elles exactes
Transparence	20	Sait-on ce qu'elle facture et qui elle est
Preuves	20	Ses réalisations se vérifient-elles
Technique	15	Son propre site est-il rapide et accessible

Plafond par bloc

La note globale est la somme des cinq blocs, avec une règle de plafond : une agence qui obtient moins d'un quart des points d'un bloc (moins de 6,25 sur 25 en Réactivité, de 5 sur 20 en Justesse, Transparence ou Preuves, de 3,75 sur 15 en Technique) ne peut pas dépasser 60 sur 100, quels que soient ses autres blocs. Une bonne moyenne ne doit pas masquer un défaut grave : une agence qui ne répond ni sur son site ni à une demande de devis ne peut pas être très bien notée grâce à ses mentions légales.

Un bloc non mesuré de notre fait (site injoignable, outil en panne) ne déclenche pas le plafond. La fiche indique quand le plafond s'applique, et quel bloc le déclenche.

Réactivité (25 points)

Assistant du site (10 points). Présence d'un chatbot, d'un agent ou d'une messagerie instantanée sur la page d'accueil, testé trois fois (trois jours différents, en journée ouvrée et hors horaires).

Constat	Points
Un assistant répond de façon autonome en moins de 30 secondes, aux trois essais	10
Répond aux trois essais, mais en plus de 30 secondes ou seulement en horaires ouvrés	6
Présent, répond à un ou deux essais sur trois	3
Absent, ou ne répond à aucun essai	0

Demande de devis (15 points). Une demande identique est envoyée à toutes les agences le même jour, à la même heure, par le formulaire de contact (ou par mail si le site n'en a pas). Délai compté jusqu'à la première réponse écrite par une personne ou un agent, hors accusé de réception automatique.

Délai de première réponse	Points
Moins de 4 heures ouvrées	15
Moins de 24 heures ouvrées	12
Moins de 2 jours ouvrés	8
Moins de 5 jours ouvrés	4
Au-delà, ou pas de réponse	0

Une fois la mesure faite, chaque agence est prévenue que la demande était un test du baromètre. Aucune donnée personnelle n'est collectée par ces tests.

Justesse (20 points)

Cinq questions identiques pour toutes les agences, posées à l'assistant du site. Sans assistant, les mêmes cinq questions figurent dans la demande de devis et la notation porte sur la réponse écrite. Il en va de même quand l'assistant n'accepte aucune question libre (questionnaire à boutons, formulaire) : la justesse est notée sur la réponse au devis, et l'assistant reste compté dans le bloc Réactivité.

1. « Combien coûte un chatbot pour une PME d'une vingtaine de salariés ? »
2. « En combien de temps pouvez-vous mettre en place un assistant sur WhatsApp ? »
3. « Avez-vous déjà réalisé un projet pour un commerce ou un restaurant ? Lequel ? »
4. « Où sont hébergées les données des conversations ? »
5. « Comment puis-je parler à quelqu'un de votre équipe ? »

Réponse	Points par question
Exacte, précise, cohérente avec le site	4
Partielle, ou renvoi utile vers une personne	2
Fausse, inventée, hors sujet, ou pas de réponse	0

« Exacte » se juge contre ce que l'agence publie elle-même. Une réponse qui cite un prix absent du site n'est pas fausse pour autant : elle est notée partielle tant qu'elle n'est pas confirmée par l'agence pendant la période de droit de réponse.

Transparence (20 points)

Critère	Points	Mesure
Prix publics	8	Grille chiffrée : 8. Prix « à partir de » : 5. Aucun prix : 0
Entreprise active	4	SIREN présent sur le site ET établissement actif dans le répertoire Sirene (INSEE)
Mentions légales complètes	4	Éditeur, adresse, SIREN, directeur de publication, hébergeur : 1 point par élément manquant retiré
Méthode décrite	4	Étapes, délais et livrables d'un projet type décrits sur le site : 4. Partiellement : 2

Preuves (20 points)

Critère	Points	Mesure
Réalisations vérifiables	10	Au moins trois clients nommés dont le projet se constate (lien qui marche, capture datée, article tiers) : 10. Un ou deux : 5. Clients anonymes seulement : 2. Aucune : 0
Chiffres sourcés	4	Les résultats chiffrés affichés citent une source ou une méthode : 4. Chiffres sans source : 0. Aucun chiffre : 2
Avis Google	6	Voir la formule ci-dessous

Avis Google : 6 × max(0, (note − 3) / 2) × min(1, log10(nombre d'avis + 1) / 2). Une note de 5 sur 100 avis ou plus vaut 6 points ; 5 sur 10 avis en vaut 3 ; une note de 3 ou moins ne rapporte rien. Relevé le même jour pour toutes les agences.

Technique (15 points)

Mesuré avec Lighthouse (version indiquée dans les données), sur la page d'accueil, profil mobile, trois passages dont on retient la médiane.

Critère	Points	Mesure
Performance mobile	6	Score Lighthouse × 6 / 100
Accessibilité	4	Score Lighthouse × 4 / 100
Bonnes pratiques	3	Score Lighthouse × 3 / 100
HTTPS	2	Site servi en HTTPS avec redirection depuis HTTP

Classements affichés

Pas de numéro un absolu. Le baromètre publie des classements par usage :

• Les plus réactives : bloc Réactivité.
• Les plus transparentes sur leurs prix : bloc Transparence, départagé par le critère Prix publics.
• Pour une PME : note totale, parmi les agences qui affichent un prix de départ.
• Agent vocal : note totale, parmi les agences qui présentent au moins une réalisation vocale vérifiable.
• Une page par ville.

Données manquantes

• « Non mesuré » quand la mesure a échoué de notre côté (site injoignable pendant le test, outil en panne). Le test est relancé ; s'il échoue encore, la note est calculée sur les points mesurés et la fiche l'indique.
• Une absence constatée (pas de prix, pas d'assistant, pas de réponse) n'est pas une donnée manquante : elle vaut 0 point.

Droit de réponse

Avant publication, chaque agence reçoit par mail sa fiche provisoire, sa note et le détail de chaque test. Elle dispose de 10 jours ouvrés pour signaler une erreur ou apporter une preuve (cas client, chiffre sourcé, certification). Ce qui est prouvé entre dans la note ; ce qui est seulement déclaré est affiché comme tel. Une relance unique est envoyée à J+7. Après publication, les corrections restent possibles, avec une réponse sous 10 jours ouvrés : chaque modification de fiche est datée et inscrite au journal des corrections (valeur avant, valeur après, motif).

Les preuves de chaque mesure (pages lues, captures des conversations, réponses aux demandes de devis) sont conservées et datées.

Relevés complémentaires

Affichés sur les fiches et utilisables comme filtres, sans points dans la version 0.2 :

• Fourchette de prix annoncée dans la réponse à la demande de devis (question 1).
• Hébergement des données et fournisseur du modèle d'IA, relevés sur le site et dans la réponse à la question 4.
• Secteurs des clients, déduits des réalisations vérifiables.
• Solidité : ancienneté, tranche d'effectif et activité principale déclarées au répertoire Sirene de l'INSEE. Une activité déclarée hors du numérique, du conseil ou de la communication est signalée.
• Visibilité : nombre de classements et d'annuaires publics qui citent l'agence.

Ces relevés pourront entrer dans la note dans une version ultérieure ; le changement sera annoncé et daté.

Calendrier et données

• Une édition par trimestre, datée et annoncée à l'avance. Première édition : quatrième trimestre 2026 ; deuxième : premier trimestre 2027.
• Toutes les mesures sont téléchargeables au format CSV, avec la date et la source de chaque valeur.

Historique des versions

• 0.2, 26/09/2026. Plafond par bloc (une agence sous le quart des points d'un bloc ne dépasse pas 60 sur 100). Relevés complémentaires affichés sans points : fourchette de prix annoncée, hébergement et fournisseur du modèle d'IA, secteurs des clients, solidité, visibilité. Droit de réponse compté en jours ouvrés, journal public des corrections. Justesse : un assistant sans champ libre est noté par la demande de devis.
• 0.1, 25/09/2026. Première version : grille sur 100 points en cinq blocs.