Category Archives: projet de recherche

Evaluation de la performance et de l’impact de la veille : le mémoire est en ligne

Tel est le titre du mémoire issu du projet de recherche que nous avons mené, Christophe Bezençon et moi entre février (bon, soyons honnêtes… avril) 2013 et janvier 2014 dans le cadre du Master en information documentaire de la HEG.

En une quarantaine de pages, nous passons en revue la littérature traitant de l’évaluation de la performance et de l’impact de la veille, présentons les résultats d’une petite enquête auprès de sept praticiens en Suisse puis proposons un outil générique d’évaluation de la veille basé sur la Balanced Scorecard et inspiré de la méthodologie COBIT 5.

Projet_recherche

Ce mémoire est maintenant disponible sur rérodoc.

Advertisements

Ce que les veilleurs pourraient apprendre des bibliothécaires

Nos billets précédents abordaient diverses considérations issues de notre revue de la littérature sur l’évaluation de la veille. Il est temps maintenant de communiquer quelque peu sur la phase terrain de notre recherche. Nous avons interrogé sept praticiens de la veille actifs dans des contextes organisationnels très variés (tailles des entreprises, domaines d’activité).  Interrogés sur le types d’indicateurs utilisés, trois praticiens nous on répondu qu’ils n’en avaient tout simplement aucun, hormis des retours informels de la part des clients. Les quatre autres procèdent à des mesures de l’output, soit des résultats tangibles et directs de l’activité de veille : nombre de rapports produits, nombre de réunions et, pour ceux qui disposent d’une plateforme, statistiques de consultation et d’usage.

Pratique et évaluation de la veille dans les entreprises interrogées

resultats_veille

Mesurer ou ne pas mesurer ?

Les raisons de cette absence d’outil formel d’évaluation sont diverses. Certains disent ne pas savoir comment s’y prendre pour mesurer les résultats de la veille. Nous l’avions vu dans la littérature, la veille, par son caractère intangible, ne se laisse pas évaluer facilement. Mais ce qui nous a surpris, c’est que la majorité des personnes interrogées semblent carrément douter de l’utilité d’un tel outil. « Le meilleur indicateur, c’est de se maintenir dans l’organigramme », affirme un professionnel qui coordonne un réseau d’une quinzaine de contributeurs dans une entreprise publique. Si les dirigeants pensent que la veille est utile, s’ils lui allouent des ressources, c’est qu’elle est utile. Point. Un autre praticien nous tiens a peu près le même discours avant de reconnaître que lors de l’arrivée d’un nouveau manager, peu familier de la veille, il s’est senti menacé et a pris des mesures pour améliorer la visibilité de son service.

Il semble donc que les praticiens de la veille adoptent une attitude passive et réactive face à la problématique de l’évaluation. Cette attitude comporte des risques car elle repose entièrement sur l’idée que les dirigeants se font de la veille et de son utilité. En cas de changement au niveau de la direction, tout peut être remis en question. Et si la nouvelle direction demande au service de veille de rendre des comptes, il se retrouvera démunis. Jan Herring, qui a conduit une recherche auprès de dix-huit managers clients de la veille, remarque que lorsque le dispositif de veille est évalué a posteriori cela peut se retourner contre le service : « Furthermore, it appears that on more than one occasion CI projects or even programs may have been evaluated after the fact, and in one case, their “afterthought” evaluation had been used as justification for significantly reducing the company’s CI program ».

Les bibliothèques comme exemple

Les bibliothèques ont une longue tradition d’évaluation de leur activité. Si elle s’est longtemps cantonnée à des mesures de l’output (nombre de livres, de prêts, de visiteurs, etc.), l’évaluation des bibliothèque a grandement évolué au cours des dernières décennies, en particulier dans les pays anglo-saxons. Confrontées à des coupes budgétaires, remises en question de toutes parts, les bibliothèques ont compris qu’une approche attentiste de la question n’était plus possible. Elles ont alors développé un véritable arsenal pour démontrer leur valeur et mettre en évidences leurs retombées économiques et sociales : évaluation contingente, analyse coûts/bénéfices, retour social sur investissement, etc. Ces approches sont bien résumées dans un article paru dans le BBF et dans l’excellente conférence que Françoise Dubosson a donnée en octobre dernier à la HEG (voir l’enregistrement  et les dias commentés).

Des études comme celles de la British Library (Measuring our value et 2004 et Increasing our value en 2013) peuvent s’avérer complexes et coûteuses et il y a peu de chances qu’un service de veille en entreprise se lance de lui-même dans une telle démarche. En revanche, elles offrent des pistes intéressantes pour des futures recherches dans le domaine de la veille. Pourquoi ne pas tenter de transposer ce type d’évaluation économique au domaine de la veille dans les entreprises ? (Précisions que notre étude n’a pas cette ambition puisqu’elle cherche plutôt à fournir aux professionnels un outil d’évaluation applicable au quotidien.)

Dans un registre beaucoup plus simple et moins coûteux, les veilleurs pourraient toutefois s’inspirer des pratiques des bibliothèques. La collecte de success stories   par exemple, peut être aisément mise en œuvre et permet de démontrer la valeur d’un service grâce à des exemples concrets. Rien de tel n’est mis en place pour l’instant dans les entreprises que nous avons analysées. Plusieurs praticiens nous ont même confié leur crainte de provoquer des jalousies dans d’autres services s’ils mettaient trop en avant leur activité. Pour vivre heureux, vivons caché ? Pas sûr que cette attitude soit la meilleure alliée de la veille dans les entreprises.

Ce billet est paru originellement sur Recherche d’ID.

Retour sur le 5 à 7 “RSE, un outil documentaire?”

Après quelques jours de vacances pluvieuses au sud des Alpes, je me réjouissais d’assister jeudi soir, en direct et en différé, à deux événements en lien avec mes thèmes de prédilection de moment : l’évaluation de la veille et la place du RSE dans la gouvernance de l’information.

Le premier événement était un webinar proposé par la SLA et animé par Jan Herring, consultant et auteur expérimenté dans le domaine de la veille qui avait été annoncé initialement sous le titre “Calculating the ROI of Competitive Intelligence”, avant d’être rebaptisé plus modestement Assessing & Communicating the Value of Competitive Intelligence”. Un peu déçue par ce changement de perspective (même s’il ne me surprend guère au vu de ce que je relevais dans un billet précédent) et un peu distraite par une petite bavarde de 20 mois qui n’était pas encore couchée, je n’ai pas pu accordé à cette présentation toute l’attention que j’aurais souhaité. Cela dit, ce que j’en ai perçu n’était pas franchement révolutionnaire puisque Herring y a présenté le concept de MOE, qu’il a développé il y a bientôt 20 ans.

Le second événement, c’était le 5 à 7 de l’ADBS intitulé “RSE, un outil documentaire?. D’habitude, j’aime beaucoup voir ces 5 à 7 et je suis très reconnaissante à l’ADBS de les filmer et de les mettre à disposition de tous. Mais alors là, grosse déception. Moi qui espérais une analyse pointue sur l’articulation entre les réseaux sociaux d’entreprise et la gestion des documents, de l’information et des connaissances, je me retrouve à écouter une présentation très généraliste et un peu brouillonne sur les RSE.  La première demi-heure survole pêle-mêle l’inexorabilité du changement, la problématique des emails, les réseaux sociaux grands publics, l’entreprise 2.0, le tagging versus la classification, le profil riche, l’intelligence collective, Saint Augustin, la conversation, le social networking, le social messaging, l’espace orienté conversation, le social CRM, la co-création. Tout cela amené par un intervenant qui ne m’a pas particulièrement emballée avec son jargon et sa maîtrise approximative des langues française et anglaise : “mode projet“, “performer“, “agile au sens premier du terme, au sens agile Scrum”, “social networking si on le traduit en français ça va faire travailler socialement ou le travail social” :-)).

Heureusement, on peut toujours compter sur un parterre de documentalistes pour remettre le document au milieu du village et ça n’a pas manqué puisque la première question du public est justement : “en quoi le RSE est un outil documentaire?“. La réponse de l’intervenant : “c’est un outil documentaire et d’information parce que l’utilisateur devient l’information”, me semble tout d’abord prometteuse car elle me rappelle le concept du “je” document développé par Jean-Michel Salaün sur son blog et dans son ouvrage Vu, lu, su. Mais il me perd à nouveau dans le développement qu’il en fait si ce n’est que je retiendrai la dimension sociale et d’usage (le “su” de Salaün) de l’information qui dépasse la vision trop souvent statique du document. Autre question du public qui m’a paru intéressante : “Le RSE permet-il de capitaliser l’information, de garder la mémoire?”. Réponse : “Il faut récupérer la data quand on change d’outil.” Mouais. A ce moment, l’intervention d’un participant sur l’intégration des systèmes d’information documentaire et des RSE fait naître en moi un espoir réel: Mais l’intervenant n’a “pas de réponse” et ne sais pas “par quel bout on le prend”. Dommage. Car c’est sûrement du côté de la complémentarité des logiques et des applications qu’il faut creuser  pour que le RSE joue un rôle pertinent dans une approche globale du flux information.

A UFO in competitive intelligence measurement literature

U for Unnoticed
The purpose of this post is to shed some light on a largely (if not completely) unnoticed contribution to competitive intelligence measurement literature. Corine Cohen, a professor in Marketing Management at International University of Monaco wrote in 2004 a book simply called “Veille et intelligence stratégiques” (“Competitive and Strategic Intelligence”), which deals with measuring the effectiveness of competitive intelligence.  This book and a subsequent article published in 2007 report on her multi-phased study of the question.

First, she developed a conceptual model based on an approach already adopted by Robert Reix for information systems management. This approach, adapted by Cohen to competitive intelligence, suggests evaluating the resources (operational measures and quality measures), the products and services offered (quality and satisfaction measures), the use of those products (satisfaction measures) and finally the outcomes (effectiveness, efficiency and impact measures).

Schema_Cohen

Translated from Cohen 2007

Then, Cohen conducted a literature review and two case studies, to help her define evaluation criteria. After that she validated her indicators by interviewing experts of the field and elaborated two questionnaires. The first one aims to evaluate the operational aspects and the quality of human, technical and financial resources. It is meant to be completed by the CI manager. The second questionnaire is about satisfaction and outcome measures and should be completed by CI users. Regarding impact measurement, Cohen suggests to use a Balanced Scorecard “Intelligence-Performance” and align CI objectives on the organization’s strategic objectives.

Despite the completeness of Cohen’s study, its solid theoretical basis and its practical results, we couldn’t find any comment or even mention of this work in the literature we consulted so far.

F for French
Why? The only reason we could figure out is that both her 2004 book and her 2007 article were written in French and never translated into English. This explains why they didn’t get any attention among English-speaking authors. Of course they could have drawn attention of French-speaking authors, but CI measurement doesn’t seem to be a popular research theme in French CI literature. As a matter of fact, the rare pieces that cite Cohen’s work don’t deal with CI effectiveness or impact (this comment on Cohen’s article being the exception).

However, an English translation of Cohen’s book has been available since 2009 at Wiley with the title Business Intelligence: The Effectiveness of Strategic Intelligence and its Impact on the Performance of Organizations. Let’s hope English speaking researchers will consider this work in their future studies.

O for… Oh my god! It’s been tested!
Indeed, Cohen’s research is probably the most accomplished study that we have read on CI outcome and impact evaluation. Unlike many other measurement models (Davison, Kilmetz and Bridge), hers has even been tested in two large companies. Thus making Cohen’s work one of the few empirical studies in the field.

The measurement model she develops is probably not perfect and might not be fitted for every type of organizations. Its comprehensiveness (that is, the length of the two questionnaires) probably makes it difficult to implement and to run on a regular basis. Anyway, we think Cohen’s approach is quite insightful and we would be pleased to read some experts comment about it.

This post originally appeared on Recherche d’ID.

Le ROI de la veille ou la quête du Graal

Calculer le ROI de la veille

La question de la rentabilité de la veille préoccupe beaucoup les praticiens. Si bien que l’on assiste à une sorte de quête du Graal pour trouver la formule magique qui permettrait de calculer le ROI (return on investment) de la veille. Grâce au ROI, mesure largement répandue qui consiste à mettre en relation les coûts et les bénéfices d’une activité, d’une machine, d’un logiciel, etc., les veilleurs seraient capables de démontrer une fois pour toute aux décideurs que le jeu en vaut bien la chandelle. Prochainement, un webinar proposé par la SLA et animé par Jan Herring, consultant et auteur expérimenté dans le domaine de la veille, proposera ni plus ni moins de calculer le ROI de la veille (Calculating the ROI of Competitive Intelligence). Nous avons hâte de le suivre !

Une mesure pas si objective

Intuitivement, on conçoit le ROI comme une mesure simple, objective et quantitative (le bénéfice divisé par les coûts). Pourtant, en consultant les publications consacrées au ROI de la veille, on s’aperçoit que toutes sortes de méthodes de calculs sont proposées, sophistiqués, souvent subjectives et qualitatives. La littérature scientifique en offre deux exemples particulièrement parlants. Davison crée en 2001 son ROCII (return on competitive intelligence investment) en s’inspirant de ce qui se fait dans le domaine de la publicité. Ce modèle repose en fait essentiellement sur l’atteinte des objectifs et la mesure de la satisfaction du client. On est donc bien éloigné d’une évaluation objective de l’efficience de l’activité de veille. Quant à Kilmetz et Bridge, leur proposition de calcul du ROI est en fait une évaluation de l’opportunité ou non d’intégrer la veille dans un projet en élaborant différents scénarios. Ce qui laisse une certaine marge à l’interprétation… En somme, comme le relève Fillias et Guilain dans leur white paper sur le ROI d’un logiciel de veille, « le ROI est donc, avant tout, le résultat d’un accord entre les parties prenantes. ». Calculer le ROI de la veille, ce n’est pas prouver une fois pour toute qu’elle est rentable mais bien démontrer, dans une situation donnée, à l’aide de critères définis en accords avec le management (gain de temps, réduction des coûts, etc.) qu’elle apporte de la valeur. De fait, force est de constater que le calcul de ROI n’est possible que dans de rares cas. Il peut s’appliquer de manière ponctuelle à des projets spécifiques mais n’est pas adapté à l’évaluation de l’ensemble de l’activité de veille.

La Balanced Scorecard, un outil de mesure pluriel

Au fond, le ROI semble être tout simplement une notion inadaptée pour rendre compte de l’impact que peut avoir un dispositif de veille sur la performance d’une entreprise. Les bénéfices de la veille sont souvent indirects, intangibles et pas nécessairement de nature purement financière. Il semble donc préférable de se tourner vers des modèles d’évaluation multidimensionnels de la performance de type Balanced Scorecard (en français, tableau de bord prospectif). La Balanced Scorecard (BSC) a été créé par Kaplan et Norton en 1992. Faisant le constat de l’insuffisance des mesures de performances financières traditionnelles pour piloter les entreprises dans un environnement de plus en plus compétitif, les auteurs ont mis sur pied un modèle qui décline la stratégie de l’entreprise selon 4 perspectives : client, interne (processus), innovation & apprentissage et financière. Pour chacun de ces axes, des objectifs sont fixés et des indicateurs sont définis pour mesurer l’atteinte de ces objectifs. Ce modèle paraît particulièrement bien adapté à la veille. En effet, la BSC est un instrument souple, qui s’adapte à différents contextes et qui permet au service de veille de s’aligner sur les objectifs stratégiques de l’organisation. Au-delà des objectifs commerciaux et financiers, la fonction veille pourra mettre en avant des bénéfices tels qu’un meilleur partage des connaissances (axes innovation & apprentissage) ou des gains de temps pour d’autres services (axe processus). Deux études de cas (Viscount 2002,Pirttimäki, Lönnqvist, Karjaluoto 2006) que nous avons consultées donnent des exemples d’utilisation de la BSC pour mesurer l’efficacité et l’impact de la veille. Les entreprises suisses utilisent-elle également ce type d’outil ? C’est ce que la partie terrain de notre recherche nous permettra de découvrir dans les prochaines semaines.

Ce billet est paru originellement sur Recherche d’ID, le carnet de recherche des étudiants du master en information documentaire de la Haute école de gestion de Genève