Measuring government impact in a social media world

Click to see full size

Today’s post is by Arthur Mickoleit & Ryan Androsoff, Digital government policy analysts in the OECD Directorate for Public Governance and Territorial Development.
A French version provided by the Government of Canada Communications Community Office is available at the end of the article.

There is hardly a government around the world that has not yet felt the impact of social media on how it communicates and engages with citizens. And while the most prominent early adopters in the public sector have tended to be politicians (think of US President Barack Obama’s impressive use of social media during his 2008 campaign), government offices are also increasingly jumping on the bandwagon. Yes, we are talking about those – mostly bricks-and-mortar – institutions that often toil away from the public gaze, managing the public administration in our countries. As the world changes, they too are increasingly engaging in a very public way through social media.

Research from our recent OECD working paper “Social Media Use by Governments” shows that as of November 2014, out of 34 OECD countries, 28 have a Twitter account for the office representing the top executive institution (head of state, head of government, or government as a whole), and 21 have a Facebook account.

Though executive government institutions may not leap to mind when the average citizen thinks about who to follow on social media, we’ve seen that in some countries these accounts have gained significant interest. Using data collected by Twiplomacy we were able to calculate how the number of their Twitter followers compares to their countries’ domestic population (in order to control for country size).

Using this metric, we see that some of the “usual suspects” we hear about when it comes to government use of social media are among the most popular (i.e. @WhiteHouse and @Number10Gov). However we also spot other very social media savvy governments, e.g. in Latin American countries such as Ecuador, Chile, and Costa Rica (we wrote about Chile’s social media use back in 2013).

Click on the image to see the top 30 central government Twitter accounts.

While the data in the graph above covers only the central government Twitter accounts with the largest per capita following, you can download the full dataset here. It should be noted that this data is from June of 2014, and many of these accounts have continued to build followings at a rapid pace. For example the @PMOIndia account has almost tripled its number of followers since June 2014, which now at 4.8 Million makes it the 2nd largest central government Twitter account in absolute numbers (though still low on the per capita measure given India’s very large population).

But what is the impact governments can or should expect from social media? Is it all just vanity and peer pressure? Surely not.

Take the Spanish national police force (e.g. on Twitter, Facebook & YouTube), a great example of using social media to build long-term engagement, trust and a better public service. The thing so many governments yearn for, in this case the Spanish police seem to have managed well.

Or take the Danish “tax daddy” on Twitter – @Skattefar. It started out as the national tax administration’s quest to make it easier for everyone to submit correct tax filings; it is now one of the best examples around of a tax agency gone social.

Government administrations can use social media for internal purposes too. The Government of Canada used public platforms like Twitter and internal platforms like GCpedia and GCconnex to conduct a major employee engagement exercise (Blueprint 2020) to develop a vision for the future of the Canadian federal public service.

And when it comes to raising efficiency in the public sector, read this account of a Dutch research facility’s Director who decided to stop email. Not reduce it, but stop it altogether and replace it with social media.

There are so many other examples that could be cited. But the major question is how can we even begin to appraise the impact of these different initiatives? Because as we’ve known since the 19th century, “if you cannot measure it, you cannot improve it” (quote usually attributed to Lord Kelvin). Some aspects of impact measurement for social media can be borrowed from the private sector with regards to presence, popularity, penetration, and perception. But it’s around purpose that impact measurement agendas will split between the private sector and government. Virtually all companies will want to calculate the return on social media investments based on whether it helps them improve their financial returns. That’s different in the public sector where purpose is rarely defined in commercial terms.

A good impact assessment for social media in the public sector therefore needs to be built around its unique purpose-orientation. This is much more difficult to measure and it will involve a mix of quantitative data (e.g. reach of target audience) and qualitative data (e.g. case studies describing tangible impact). Social Media Use by Governments proposes a framework to start looking at social media measurement in gradual steps – from measuring presence, to popularity, to penetration, to perception, and finally, to purpose-orientation. The aim of this framework is to help governments develop truly relevant metrics and start treating social media activity by governments with the same public management rigour that is applied to other government activities. You can see a table summarising the framework by clicking on the thumbnail below.

Social media indicators

This is far from an exact science, but we are beginning the work collaborating with member and partner governments to develop a toolkit that will help decision-makers implement the OECD Recommendation on Digital Government Strategies, including on the issue of social media metrics.

What do you think? How can we best measure the impact of social media usage by government? We’d love to hear about your experiences and ideas! Post your comments below or let us know via Twitter using the #eleaders hashtag or connecting with us at @arturelis and @RyanAndrosoff.

Useful links

OECD work on public sector innovation and e-government

Mesurer l’impact du gouvernement dans un monde de médias sociaux (observations de l’OCDE)

Ce texte est initialement paru dans le blogue « OECD Insights: Debate the issues » le 18 février 2015. Arthur Mickoleit et Ryan Androsoff, analystes de la politique numérique gouvernementale au sein de la Direction de la gouvernance publique et du développement territorial de l’OCDE, ont rédigé l’article.

Il n’existe guère de gouvernement dans le monde qui n’a pas encore ressenti les effets des médias sociaux sur la manière dont il communique et interagit avec ses citoyens. Et même si les utilisateurs précoces les plus influents dans le secteur public ont tendance à être des politiciens (pensez à la façon impressionnante dont le président des États-Unis Barack Obama a utilisé les médias sociaux durant sa campagne de 2008), les bureaux gouvernementaux sont de plus en plus nombreux à suivre ce mouvement. Oui, nous parlons de ces institutions – ayant pour la plupart un pied-à-terre – qui gèrent l’administration publique dans nos pays, souvent à l’abri des regards du public. Dans ce monde en évolution, ces institutions interagissent de plus en plus avec le public dans les médias sociaux, et ce, avec beaucoup de visibilité.

La recherche en lien avec notre récent document de travail de l’OCDE, Social Media Use by Governments, a révélé qu’en novembre 2014, 28 pays de l’OCDE sur 34 avaient un compte Twitter pour le bureau représentant le principal organe exécutif du pays (chef d’État, chef du gouvernement ou gouvernement dans son ensemble), tandis que 21 avaient un compte Facebook.

Même si les institutions gouvernementales exécutives ne viennent pas nécessairement à l’esprit du citoyen moyen au moment où il réfléchit à quels comptes de médias sociaux suivre, nous avons constaté que dans certains pays, ces comptes ont suscité beaucoup d’intérêt. Au moyen des données compilées par Twiplomacy, nous avons calculé le ratio entre le nombre d’abonnés Twitter de ces institutions et la population de leur pays (afin de tenir compte de ce facteur).

Cette mesure nous permet de constater que certains des « suspects habituels » dont nous entendons parler lorsque le sujet de l’utilisation que font les gouvernements des médias sociaux est abordé se classent parmi les plus populaires (par exemple, @WhiteHouse et @Number10Gov). Cependant, ce classement comprend aussi des gouvernements très habiles avec les médias sociaux, par exemple, des pays d’Amérique latine comme l’Équateur, le Chili et le Costa Rica (nous avons écrit sur le sujet de l’utilisation des médias sociaux par le Chili en 2013).

Cliquez ici pour voir quels sont les 30 comptes gouvernementaux centraux les plus populaires sur Twitter.

Même si les données illustrées dans le graphique ci-dessus portent seulement sur les comptes gouvernementaux centraux sur Twitter qui comptent le plus grand nombre d’abonnés par habitant, vous pouvez télécharger l’ensemble complet de données ici. Notez bien que ces données datent de juin 2014 et que le nombre d’abonnés de plusieurs de ces comptes a continué à croître rapidement. Par exemple, le nombre d’abonnés du compte @PMOIndia a presque triplé depuis juin 2014 et se chiffre maintenant à 4,8 millions, ce qui le classe au deuxième rang des comptes gouvernementaux centraux comptant le plus d’abonnés en chiffres absolus (bien que son nombre d’abonnés par habitant soit encore faible étant donné l’immensité de la population de l’Inde).

Mais à quel impact les gouvernements peuvent-ils ou doivent-ils s’attendre lorsqu’ils utilisent les médias sociaux? Leur utilisation est-elle uniquement motivée par la vanité ou la pression des pairs? Certainement pas.

Les comptes de médias sociaux de la police nationale espagnole (Twitter, Facebook et YouTube) représentent un bon exemple d’utilisation des médias sociaux pour mobiliser la population à long terme, établir avec elle une relation de confiance et bâtir une meilleure fonction publique. Le vœu de tant de gouvernements s’est exaucé pour la police espagnole, qui semble en l’occurrence avoir bien joué ses cartes.

Citons également, au Danemark, l’exemple du compte Twitter du « père des impôts », @Skattefar, qui a été créé par l’autorité fiscale de ce pays dans le dessein d’aider tout le monde à soumettre des déclarations d’impôts exactes. Il s’agit maintenant de l’un des meilleurs exemples au monde de l’utilisation des médias sociaux par une autorité fiscale.

Les administrations gouvernementales peuvent également utiliser les médias sociaux à l’interne. Le gouvernement du Canada a utilisé des plateformes publiques comme Twitter de même que des plateformes internes comme GCpédia et GCconnex pour mener un important exercice de mobilisation des employés (Objectif 2020) en vue de définir une vision pour l’avenir de la fonction publique fédérale canadienne.

Les médias sociaux peuvent aussi être utilisés pour accroître l’efficience dans le secteur public. À ce sujet, vous pouvez lire l’exemple du directeur d’un établissement de recherche danois qui a décidé d’éliminer les courriels. Pas de les réduire, mais de les éliminer complètement et de les remplacer par les médias sociaux.

Tant d’autres exemples pourraient être cités. Mais la principale question est la suivante : comment pouvons-nous même commencer à évaluer les répercussions de ces différentes initiatives? Parce que comme nous le savons depuis le XIXe siècle, ce qui ne peut être mesuré ne peut être amélioré (un adage généralement attribué à Lord Kelvin). Certains aspects de l’évaluation de l’impact des médias sociaux peuvent être empruntés au secteur privé, à savoir la présence, la popularité, la pénétration et la perception. Mais l’objectif du secteur privé et des gouvernements n’est pas le même quand vient le temps d’évaluer l’impact des médias sociaux. Pratiquement toutes les entreprises voudront calculer le retour sur l’argent investi dans les médias sociaux afin de déterminer si ces outils les aident à améliorer leurs résultats financiers, ce qui n’est pas le cas dans le secteur public où l’objectif est rarement défini en termes commerciaux.

Dans le secteur public, une bonne évaluation de l’impact des médias sociaux doit alors être conçue en fonction de l’objectif visé, ce qui est beaucoup plus difficile à mesurer. Il faudra utiliser une combinaison de données quantitatives (comme l’atteinte du public cible) et de données qualitatives (comme des études de cas décrivant les répercussions tangibles). Social Media Use by Governments propose un cadre pour évaluer les médias sociaux en procédant de façon graduelle – soit en mesurant la présence, la popularité, la pénétration, la perception et enfin, l’objectif visé. Ce cadre a pour but d’aider les gouvernements à définir des mesures réellement pertinentes et à commencer à gérer les activités des gouvernements sur les médias sociaux avec la même rigueur que leurs autres activités. Vous pouvez voir un tableau résumant le cadre ici.

Ce domaine n’est pas une science exacte, mais nous entreprenons un travail de collaboration avec les gouvernements membres et partenaires afin de mettre au point une trousse d’outils qui aidera les décideurs à mettre en œuvre la recommandation de l’OCDE sur les stratégies numériques gouvernementales, y compris en ce qui concerne la question de l’évaluation des médias sociaux.

Liens utiles

Travail de l’OCDE sur l’innovation dans le secteur public et l’administration électronique

Qu’en pensez-vous? Comment pouvons-nous le mieux évaluer l’impact de l’utilisation des médias sociaux par les gouvernements? Nous aimerions beaucoup connaître vos expériences et vos idées! Publiez vos commentaires ci-dessous ou sur Twitter avec le mot-clic #eleaders ou en communiquant avec nous à @arturelis et à @RyanAndrosoff.

Guest author

7 comments to “Measuring government impact in a social media world”

You can leave a reply or Trackback this post.
  1. Cezary Gesikowski - 18/02/2015 Reply

    Very relevant observations. Developing an equivalent of social media ROI for public sector is the greatest challenge of modern governments looking to improve their services to citizens via digital delivery. While social measurement may never become ‘an exact science,’ some level of standardization is necessary. Developing baseline KPIs is much needed.

    The biggest issue right now is lack of openness about how native social media analytics (Facebook Insights, Twitter Analytics, etc.) calculate reach and engagement. Many platforms guard their data sets and change them to serve their commercial goals as they see fit (rightfully so, they are not charities), what complicates measurement for organizations. The best example is the recent Facebook changes impacting outreach of not-for-profit organizations:

    I look forward to hearing what others may have to say about this issue and if any solutions have been put in place already. Perhaps it’s time for public sector to consider developing their own engagement platforms that they can fully control themselves, which at the same time integrate with multiple external social media channels.

  2. Mike Kujawski - 25/02/2015 Reply

    Great post Ryan and Arthur!

    One thing I like to do off the bat when working on social media performance reporting for my government clients, is to differentiate between the three basic levels of reporting depending on which level of the organization I am working with.

    These are as follows:

    1.) Business Metrics (e.g. Reputation) –>For executives and senior managers
    2.) Social Media Analytics (e.g. Share of Voice) –>For business unit stakeholders
    3.) Engagement Data (e.g. Re-tweets) –>For community managers

    Noting the above, I always firmly emphasize that it’s impossible to measure performance at any level without setting proper goals and objectives in the first place. This often leads into a discussion on the difference between the two, as they are often confused. The basic things to remember are that goals are broad, whereas objectives should ideally be constructed using the SMART acronym (Specific, Measurable, Attainable, Relevant, Time-Limited). Rather than getting into that here, I’ll provide an example for each level of social media reporting that I use.

    1. Business Metrics

    Goal–>To significantly increase the overall level of trust Canadians place in our organization
    Objective–>To attain a rating of at least 9/10 on our annual online brand reputation survey this year for the question relating to trust.

    2. Social Media Analytics

    Goal–>To grow the digital footprint of our organization on the social web
    Objective–>To raise the amount of qualifying inbound monthly traffic to our website coming from social media platforms by 5% every month for the next 6 months.

    3. Engagement Data
    Goal–>To build a strong network of “industry” professionals on Twitter
    Objective–>To have at least 25 “industry” professionals add our account to a Twitter List by the end of the month

    The social media performance evaluation then simply becomes a report against the objectives.

    Note that all of the above goals and objectives are “outcome” based, as opposed to “output” based. The latter approach is lazy and ineffective as it merely leads to performance being evaluated based on whether or not somebody completed an activity (e.g. tweet 10 times each week), without looking at the intended outcome.

    Of course, setting up goals and objectives is not always easy as it often requires research (digital presence audit) and alignment with strategic priorities (internal interviews with senior management)

    The problem I still see in most government organizations is that a social media presence is typically established first, and then everyone scrambles to figure out what to measure. Often times, in the process of doing this they are blinded by pretty pie charts and colourful visualizations that tend to come with social media measurement tools and thus end up measuring irrelevant, off-strategy items.

    Therefore to sum up:

    1 – Do your research to set benchmarks and identify needs
    2 – Create goals at each level of reporting
    3 – Create applicable SMART objectives for each goal, at each level
    4 – Report on performance

    MK (@mikekujawski)

Leave a Reply