Les tableaux de bord sont un outil indispensable du RSSI pour mesurer et maîtriser les risques de son périmètre, piloter ses projets et informer son management de l’évolution de la santé cyber de son entreprise. Or, 47% des entreprises ont des indicateurs ou des tableaux de bord insuffisants, selon les données du Cyberbenchmark de Wavestone en 2022. En pratique, les indicateurs définis ne procurent souvent qu’une simple visibilité sur un périmètre, et n’apportent que peu de précision sur l’atteinte des objectifs stratégiques et opérationnels de l’entreprise. Sans mesurer correctement les écarts, il est compliqué de déployer des actions correctrices pertinentes, de définir les priorités d’exécution et de concentrer effort et budget sur les périmètres les plus à risque.

Plus risqué encore serait d’avoir confiance en ses tableaux de bord mais sans garantie de la pertinence et de la fiabilité des indicateurs, ce qui ne peut mener qu’à des erreurs, voire à des incidents majeurs. Le crash de l’avion Eastern Airlines 401 en 1972 en est un exemple frappant : une simple ampoule grillée qui servait à indiquer le bon déploiement du train d’atterrissage a mobilisé tout l’équipage, qui n’a pas pu voir à temps l’alarme qui indiquait la baisse d’altitude drastique de l’avion. L’avion s’écrase quelques minutes plus tard.

Comment repenser sa base d’indicateurs pour rendre ses tableaux de bord performants et fiables ?  

 

Les tableaux de bord, KRI, KCI, quézako ?

Le tableau de bord est un outil de synthèse et de présentation. Il permet de mettre en avant les tendances clés d’un périmètre pour éclairer la prise de décision. C’est un véritable outil fédérateur pour fluidifier la gouvernance et destiné à tous (et pas seulement au RSSI). C’est pourquoi nous parlons de tableaux de bord au pluriel. Chaque instance est définie par un périmètre unique, où sont spécifiés : les destinataires et leurs enjeux, la fréquence de revue, la gouvernance associée, les indicateurs, leurs méthodes de calcul et leur source, etc.

Les tableaux de bord définis correctement permettent alors de répondre aux enjeux métiers des acteurs concernés. Une segmentation en trois niveaux permet de résumer tous les types de besoins dans une organisation :

Figure 1 : Typologie des tableaux de bord cyber : usages et objectifs

Un indicateur, quant à lui, est une mesure collectée qui est contextualisée et qui permet d’aider à la prise de décision. Il est mis en place pour répondre à un besoin clairement identifié par un ou plusieurs métiers. Selon la finalité de la mesure, trois types d’indicateurs peuvent être définis :

1. KPI (Key Performance Indicator): mesure la performance d’un service, d’une équipe ou d’un plan stratégique. Ils sont liés à des objectifs stratégiques pour mesurer leur efficacité (exemple : capacité de rétention des talents cyber sur l’année).
2. KRI (Key Risk Indicator) : apprécie un risque redouté, quantifiant sa vraisemblance et/ou son impact à un instant donné. Indispensables pour accepter ou refuser un risque, ils permettent également de vérifier sa maîtrise dans le temps (exemple : nombre d’identifiants professionnels compromis – account take over).
3. KCI (Key Compliance Indicator): mesure un taux de conformité par rapport à un référentiel (PSSI, NIST, etc.). Ils évaluent la maturité de l’organisme au regard dudit référentiel à un instant donné (exemple : % de politiques actualisées depuis moins d’un an).

 

Comment rendre un tableau de bord performant ?

Un tableau de bord performant permet de transmettre des messages autoporteurs aux destinataires. Pour le construire, il faut construire minutieusement des indicateurs fiables, performants et minimiser leur nombre. Ces derniers sont définis en faisant un compromis entre :

• sa pertinence (finalité de traitement, soit la capacité à déclencher une discussion) ;
• son coût de calcul (temps de collecte, temps d’interprétation) ;
• et sa maintenabilité dans le temps (durabilité des sources des données).

Prenons un exemple pour chercher à évaluer l’efficacité des mesures « security-by-design » du processus ISP. Un indicateur pertinent pourrait être : « taux de validation du PV de sécurité à la première itération par périmètre et criticité des projets ». Il est déjà viable opérationnellement : le processus d’homologation fournit la donnée simple d’interprétation (valeurs binaires). Il est pertinent (répondant à un enjeu clairement identifié), peut être facilement calculable si les processus sont bien mis en place (caractéristique dépendant de la qualité de la remontée d’information) et durable (le processus d’homologation garanti des données fiables dans le temps).

Un socle d’indicateur défaillant néglige généralement l’un des trois critères cités précédemment. Cela se vérifie sur le terrain : il est courant d’observer des agglomérats d’indicateurs, hérités par tradition sans réelle finalité ou répondant à un besoin révolu, ou bien des indicateurs nécessitant une collecte chronophage qui génère des frustrations dans les équipes. Ces écarts peuvent s’expliquer par un passif construit au fil de l’eau, sans y accorder une grande importance avec une absence de revues.

Pour y remédier, l’existant doit être assaini et complété avec des indicateurs performants de manière périodique (méthodologie détaillée dans la partie 3.1) : le pilotage des indicateurs en lui-même est un enjeu tout aussi important que les autres. Il doit donc être suivi comme tel par un responsable dédié dans l’équipe de gouvernance du RSSI et par des indicateurs de pilotage dédiés (% des indicateurs définis avec une méthode de calcul approuvée, % d’indicateurs complètement automatisés, etc.). C’est avec cette gouvernance centrale que des compromis peuvent être trouvés pour minimiser le nombre d’indicateurs : une dizaine par périmètre / programme est un ordre de grandeur qui fonctionne généralement bien.

 

Augmenter l’engagement des équipes pour avoir des données plus exploitables

Ce n’est pas nouveau : faire accepter un changement et des nouveaux outils est toujours un sujet épineux, notamment pour les RSSI. Complexité de l’environnement, manque de dialogue entre les équipes cyber ou entre les métiers, outils inadaptés, données collectées inutiles ou non analysées… les raisons ne manquent pas pour expliquer le manque d’engagement des équipes. Pour y arriver, deux axes sont à retenir :

1. Rendre ses collaborateurs actifs dans le cycle de vie de l’indicateur ;
2. Faciliter la remontée d’indicateur avec l’autonomisation pour minimiser leur charge de travail.

 

Rendre ses collaborateurs acteurs tout au long du cycle de vie de l’indicateur

La complexité organisationnelle des équipes et générer un engagement local sont les premiers défis qui doivent être résolus avant de déployer un tableau de bord : la maille de la collecte d’information nécessite de faire dialoguer des métiers qui n’ont pas l’habitude de travailler ensemble (finance, risque IT, stratégie, direction de programme, etc.). Impliquer durablement vos équipes opérationnelles est vital pour fiabiliser le processus de collecte et de remontée d’indicateurs. Plus spécifiquement, cela permet de :

• Définir des indicateurs plus proches de la réalité, pour lever des points de blocage (donnée non disponible, problème de communication, etc.) ;
• Adresser plus précisément les besoins opérationnels: il est nécessaire de rendre les équipes intéressées par les résultats du projet (i.e. s’assurer qu’ils aient des retombées concrètes dans leur travail) ;
• Faire accepter le changement plus simplement pour gagner en fiabilité sur le long terme : leur implication passe par une bonne compréhension de la finalité des indicateurs collectés.

Il est nécessaire d’impliquer ses collaborateurs dès le début du processus, et de conserver cette dynamique tout au long du maintien en condition opérationnel de l’indicateur. Des workshops transverses doivent être organisés tout au long du processus ci-après, pour aider à la définition d’indicateurs ou à leur remise en question.

Figure 2 : Cycle de vie de l’indicateur et maintien en condition opérationnelle

 

Faciliter la collecte et la remontée des informations avec l’automatisation et des outils appropriés

Bien qu’une collecte manuelle apporte une flexibilité pour tester et éprouver les nouveaux indicateurs, une collecte (semi) automatisée augmente la productivité des équipes et fournit des données plus fiables.

Selon la nature des données, leur volatilité, leur format ou selon la difficulté de maintenance, il n’est pas toujours rentable de tout automatiser. Surtout qu’il est assez coûteux d’automatiser le processus de collecte et de reporting. Il faut en moyenne une année complète pour y arriver ! Par conséquent, délimiter le périmètre d’automatisation est un prérequis avant de commencer le projet.

Pour faire passer à l’échelle et automatiser un spectre plus large d’indicateurs, une meilleure culture d’entreprise autour de la donnée doit être mise en place. C’est avec des données organisées, référencées, standardisées qu’il est possible de réduire le coût de l’automatisation. Comment ? Il faut :

1. Définir une vision et des objectifs dans l’organisation pour contrôler, référencer et manager la donnée ;
2. Définir une politique et des règles portées par le top management pour réguler l’utilisation et la standardisation des données ;
3. Promouvoir une culture de la donnée auprès des équipes métiers, pour refléter la façon dont les données sont prisées et utilisées ;
4. S’équiper d’outils pour porter les politiques et la stratégie data de l’organisme (Master Data Management, Data catalog, Data lineage, etc.).

Pour devenir « orienté données » (data-driven), les points de blocage ne sont pas technologiques, mais plutôt organisationnels, notamment sur les compétences et la capacité à accepter les changements.

A la clé, l’automatisation rend la collecte des données « mieux vécue » par les collaborateurs, et fiabilise dans le temps les remontées d’indicateurs.

 

Parler à son exécutif : l’intérêt de limiter les indicateurs

Pourtant sous-exploité pour son côté « marketing », un tableau de bord bien construit est un excellent moyen d’adresser et d’impliquer son Comité Exécutif (COMEX). En 2021, encore 25% des entreprises n’ont jamais sollicité leur COMEX, et seul 30% du marché les impliquent régulièrement.

Le tableau de bord doit être autoporteur (i.e. compréhensible à la première lecture), puisqu’il est voué à être communiqué au plus grand nombre. Au quotidien, le COMEX solutionne des problèmes, accepte ou refuse des risques, veille à la performance budgétaire et à l’efficacité opérationnelle, se soucie de la satisfaction des clients et de l’image publique de l’entreprise, etc. Pour réussir à parler avec son COMEX, le tableau de bord doit porter des messages concis et percutants pour aller à l’essentiel et répondre spécifiquement à leurs enjeux. Pour cela, il est plus utile de mettre en avant des mesures et des solutions concrètes que d’expliquer en profondeur les causes techniques d’un problème (sauf si ce besoin est clairement exprimé).  

Présenter à son management le ratio d’équivalent temps plein (ETP) cyber sur les ETP IT par entité ou le ratio du budget en cyber avec celui de l’IT peuvent être deux approches viables pour informer et prendre des décisions sur les ressources en cybersécurité.

En somme, le choix des indicateurs et leur mise en forme doivent s’adapter au COMEX. Ils doivent :

• Être centrés sur les impacts business potentiels ;
• Être constants dans le temps pour avoir une base d’indicateur stable et faciliter l’appropriation et la compréhension ;
• Avoir une forme autoporteuse pour visualiser l’évolution d’une tendance et son écart avec l’objectif fixé.

 

Conclusion

Un tableau de bord n’est qu’un outil, qui ne doit pas être considéré comme une fin en soi. En revanche, correctement configuré et défini, c’est certainement la meilleure arme d’un RSSI pour fluidifier la gouvernance cyber.

Pour mettre en place ou mettre à jour son tableau de bord, 4 facteurs de succès sont à retenir :

1. Incrémental: identifier des indicateurs durables est difficile. A l’exception des tableaux de bord destinés aux COMEX, une approche agile est nécessaire pour avoir le temps de se poser les bonnes questions.
2. Inclusif: toutes les équipes doivent être impliquées. L’implication passe par la compréhension de la finalité des données collectées (et des retombées sur leur travail) et aboutit sur une fiabilité renforcée.
3. Evolutif: l’écosystème cyber et ses menaces ne font que croître exponentiellement. Cette volatilité doit rendre l’outil évolutif pour avoir la capacité d’étoffer le socle standard de sécurité avec de nouveaux indicateurs de risque (KRI).
4. Simple: l’essence du tableau de bord est d’être partagé. Par conséquent, il se doit d’être compréhensible à la première lecture. « Keep it simple » pour simplifier la lecture et accélérer l’appropriation.