Toutefois, les diagrammes des problèmes ne permettent pas de traduire visuellement les liens de type boucle de rétroaction (les effets devenant des causes et inversement). (0 comments). Le diagramme des décisions décrit le processus par lequel les objectifs stratégiques ou politiques généraux exprimés par les plus hautes instances de l'Union Européenne en matière de coopération avec les pays tiers en général sont traduits en décisions de coopération bilatérale à moyen terme et à court terme. Elle doit reposer sur une définition préalable du type de document où l'on cherchera l'information. Dans les pays en développement, ils sont utilisés en communication sociale pour mettre au point des messages compréhensibles, notamment dans des campagnes de sensibilisation (prévention anti-sida, etc.). En évaluation ex ante, lorsque l'analyse SWOT est couplée à l'analyse stratégique, elle participe à la clarification des idées des décideurs et à l'appropriation des axes stratégiques retenus. Un accord du gestionnaire de l'évaluation a-t-il été obtenu sur la période concernée et les documents pertinents ? L'évaluateur doit notamment faire attention : Il faut donc trouver un équilibre entre : La programmation de 4 à 6 entretiens par jour paraît souvent un bon compromis entre ces deux visions. (0 comments). Prévalence d'enfants de moins de 5 ans souffrant d'insuffisance pondérale, 3. Il s'agit de : Encore plus que pour les forces, l'analyse des faiblesses requiert la collecte de plusieurs points de vue, dont au moins celui des représentants : Les opportunités sont les possibilités extérieures positives, dont on peut éventuellement tirer parti, dans le contexte des forces et des faiblesses actuelles. Ce tableau met également en évidence la relative fragilité de ces approches, même si ces méthodes sont couramment employées par exemple pour la notation des élèves en classe ou dans les attributions d'appel d'offres. Cette analyse est moins encadrée par des méthodes contrairement aux phases de conception et de collecte, ce qui en fait sa relative difficulté. Critères économiques : prix des installations de collecte et de traitement, coûts des transports, coûts de personnel et de maintenance, etc. La conduite des études de cas peut varier d'une étude à une autre, il faut au moins : Le temps faisant souvent défaut dans une évaluation, il est parfois nécessaire de multiplier les évaluateurs de terrain. Les données sur le développement permettent d'obtenir entre autres, des informations très précises sur : De nombreuses données du site de l'OCDE peuvent permettre de décrire le contexte de l'aide à un pays. Il peut ainsi être décidé comme critère que, quel que soit l'écart de qualité entre les projets, le prix du meilleur projet ne pourra jamais être supérieur au double du suivant. En général l'objectif global occupe le niveau supérieur du diagramme. Accès limité à la documentation. Etabli depuis 1968, le Programme International de Comparaison (ICP : International Comparison Program) est un système statistique mis en place pour produire des données par pays internationalement comparables au niveau: En fournissant des données sur le pouvoir d'achat, le système peut procurer aux évaluateurs des données comparables entre elles, très intéressantes sur le plan économique et social. C'est la phase la plus délicate de l'étude de cas. Si sur des questions particulières, le consensus n'est pas obtenu, le panel doit faire état des différentes prises de position des experts. Les questions avec une négation, voire une double négation : elles influencent la réponse, Style bref et simple : la question ne devrait pas dépasser une ligne et demi, Les réponses proposées ou sous-entendue dans la question : elles encouragent à dire "oui" quand l'opinion n'est pas très affirmée, Aborder de front une question trop personnelle, Arbitrer entre le style direct et indirect : si le sujet de la question est trop personnel, préférer un style indirect. Ils examinent ensuite par quels moyens concrets à sa disposition la Commission européenne peut poursuivre cet objectif. Dans la plupart des évaluations, le temps imparti à l'organisation et la réalisation du recueil de données de terrain est limité, pour des raisons financières entre autres. des responsables de la conception et de la mise en œuvre des programmes entrant dans le champ de l'évaluation. Il contribue à l'identification des points forts ou faibles sur lesquels sera mis l'accent par le biais des questions d'évaluation : Il est d'autant plus indispensable que les documents stratégiques ou d'orientation de l'aide pays ne comprennent pas d'exposé systématique (avec ou sans diagramme) du système des objectifs. Acteurs du secteur public (Etat, administration, etc…) ou du secteur privé (société civile, ONG, etc…), son degré d'accessibilité (directement ou par un intermédiaire). parle-t-il librement ? Elle représente le premier contact entre la personne interrogée et l'évaluateur ; le choix de la personne qui prend les rendez-vous n'est donc pas neutre. sa convivialité d'interprétation et d'utilisation : la convivialité représente la possibilité opérationnelle, visuelle et cognitive d'utiliser correctement et confortablement l'indicateur. Il fournira au lecteur les sources précises (citations et références complètes des documents) sur lesquelles elles se fondent. Explicitation du processus de décision et de détermination des objectifs stratégiques et/ou politiques. des facteurs internes au processus, chaque objectif retenu justifiant les objectifs de rang inférieur. Ils peuvent être considérés comme pleinement logiques et tiennent lieu de diagramme raisonné des objectifs. Jusqu'à présent, les documents stratégiques ont été établis sous la responsabilité des services du Siège (Relations extérieures ou Développement). Ces questions ont pour but d'établir un climat d'intérêt, voire de confiance entre l'enquêteur et l'enquêté, si l'enquête se déroule en face à face,. Choix du problème principal Le choix du problème principal, essentiel pour la construction du diagramme des problèmes, est particulièrement délicat lorsque l'ensemble des problèmes du pays (de la région) sont à considérer. Suivant l'ampleur de la tâche à accomplir et la complexité des thèmes à aborder, le recrutement du panel peut être assez rapide et simple, ou au contraire nécessiter un procédure de sélection. Dans le cas d'études de cas multiples, le team leader a-t-il vérifié la cohérence des études ? WHYTE W.F., (1982): Social inventions for solving human problems, in American Sociological review, vol. Ces liens sont logiques lorsqu'ils expriment une relation d'inférence (induction ou déduction) validée par l'expérience. L'analyse comprend-elle une recherche de causalité ? Aujourd'hui, ces méthodes sont devenues un outil de référence en sciences sociales. A l'intérieur de cette liste parfois longue, certains commanditaires sélectionnent les "titulaires préférés" et les suppléants, les premiers étant contactés en premier afin de s'assurer de leur disponibilité. Comment démarrer? Se rendre systématiquement auprès des éditeurs locaux pour consulter ou acquérir leurs publications qui, souvent, concernent d'assez près les questionnements de l'analyse culturelle et sociale. Pourquoi et quand utiliser l'analyse culturelle et sociale? Un bon proxy est fourni par la " Proportion d'accouchement assistés par du personnel de santé qualifié ". ? Dans la phase de structuration de la méthode d'évaluation, la réalisation du diagramme des problèmes est un travail assez proche de celui de l'identification des faiblesses et des menaces de l'analyse SWOT. Le travail commence par une lecture attentive des documents de base. Complétant le diagramme des objectifs, le diagramme des décisions facilite l'analyse de la stratégie en terme de cohérence interne (enchaînement logique des choix successifs) et de pertinence externe (prise en compte des éléments de contexte et des positions des parties prenantes). Les auteurs partent, explicitement ou implicitement, d'un objectif global. Une visibilité de l'efficacité d'une intervention. structurer les avis de responsables de projet ou de programme sur des actions en cours. Ce dernier prévoit un nombre précis de jours de travail dans une situation moyenne. Si elle se révèle insuffisante, il est recommandé de renoncer. En revanche, elle ne permet pas de statuer sur la pertinence ou sur l'intérêt qu'il y a à mettre en place et poursuivre cette intervention. Hormis le moment de définition de l'objectif global, les autres moments de choix se situent à chacun des embranchements du diagramme. Les données disponibles permettent-elles d'estimer la pertinence des justifications ? Carluer F. et Richard A., " Analyse stratégique de la décision ", 2002. les objectifs intermédiaires de second rang. En dehors de cas très simples, l'analyse multicritère implique la contribution de plusieurs catégories d'acteurs. Le cadre logique sert alors naturellement de référentiel à l'évaluation, qui dispose ipso facto des éléments constitutifs du diagramme des objectifs de ce programme. La pratique montre que les problèmes principaux et les causes profondes sont ceux qui sont les mieux identifiés. Les théoriciens ne sont pas tous d'accord pour rattacher le focus group à la "famille" des entretiens de groupe. C'est souvent de lui que dépend l'ambiance de travail du panel. En évaluation projet, l'utilisation de l'analyse SWOT en fonction du temps (passé et futur) est particulièrement bien adaptée à l'identification des orientations devant être renforcées dans le futur. Une stratégie, un programme, un projet auront d'autant plus d'efficacité qu'ils s'attaqueront aux causes les plus profondes du ou des problèmes qu'ils ont pour finalité de résoudre. Comment restituer les résultats d'un diagramme dans un rapport? Il répond pleinement aux contraintes du genre : Lorsque ces arbres sont produits dans le cadre de la planification par objectif, l'objectif de rang 1 est habituellement dénommé objectif global. Par ailleurs Eurostat dispose de données intéressantes sur les échanges entre les pays de l'Union Européenne et le reste du monde. À défaut de justification explicite des choix par les documents stratégiques, l'évaluation doit répondre à une série de questions : Faute d'envisager ces questions, l'évaluation va présenter le programme ou la stratégie avec une pertinence et une cohérence qui est plus formelle que réelle. Ils limitent donc leur champ par des choix opérés à tous les rangs d'objectifs ou d'effets. En absence d'enregistrement, il peut être judicieux d'organiser une séance de restitution afin de valider le contenu de la retranscription du focus group. Une série d'exemples illustrent l'utilisation des panels d'experts, avec, selon le cas, des termes de références, des profils de recrutement, des exemples de rapports, etc. Son nom vient d'une analyse incluant les domaines Politique, Ecologique, Socio-culturel, Technologique, Economique et Légal. Faire une étude de cas pilote permet, entre autres, de : Afin que les résultats de l'étude de cas soient fiables, il convient de s'assurer lors de cette collecte d'un certain nombre de points fondamentaux : C'est la phase la plus délicate de l'étude de cas. Dans les deux cas, le diagramme des décisions devrait se révéler un outil très intéressant. Quels usages peut-on faire du diagramme des objectifs et du diagramme des effets ? des travaux intégrant les standards scientifiques et techniques des disciplines étudiées. Lorsque l'on compare, pour un même objectif, différents types d'interventions au coût identique, l'analyse repose sur des éléments qualitatifs. PARTAGER LA PAGE » La mise en scène » Outils d’animation. Les problèmes de représentativité, s'ils ont été rencontrés, ont-ils été résolus ? La question des catégories d'acteurs à rencontrer se pose en particulier pour: Les listes d'acteurs institutionnels à rencontrer sont souvent longues à cause de la nature même de l'évaluation pays qui couvre un grand nombre de programmes et de projets. Lorsque le diagramme a été reconstitué par l'évaluateur sur la base des documents mis à sa disposition, l'évaluateur devra: Si les documents d'archives et les acteurs concernés ne sont pas accessibles, l'évaluateur devra expliciter les hypothèses qu'il a faites pour construire le diagramme. Les forces sont par exemple : Si l'étude des forces nécessite d'être approfondie au-delà du simple recueil de l'avis des participants aux réunions, deux outils, utilisés dans les modèles relatifs aux capacités stratégiques des sociétés, peuvent être utilisés pour fournir des pistes d'investigation. L'analyse des critères de qualité de projet (pertinence, efficience, efficacité et durabilité) en fonction des différents niveaux d'intervention (activités, résultats, objectifs spécifique). Faiblesse légale, financière et humaine des ONG. L'analyse SWOT (Strengths - Weaknesses - Opportunities - Threats) ou AFOM (Atouts - Faiblesses - Opportunités - Menaces) est un outil d'analyse stratégique. Notamment la sélection des participants, la planification et l'organisation de la réunion requièrent du temps. Peu de conclusions ont été formulées et adoptées collectivement par les participants. Des combinaisons peuvent exister entre ces différentes catégories. Il existe un grand nombre d'approches possibles pour la conduite des analyses SWOT, depuis les plus simplistes (une réunion de quelques personnes en une demie-journée de travail) jusqu'aux plus sophistiquées (analyse employant successivement tous les outils de l'analyse stratégique en amont de l'analyse SWOT). 1990. La somme pondérée s'applique parfaitement à des mesures de valeurs réelles, comparables entre elles. Une opinion non exprimée rend sourd ! La toile d'araignée. …). Conjoncture. les enquêtes de conjoncture et de consommation. Le diagramme des objectifs présente la hiérarchie des objectifs, de l'objectif stratégique global aux projets et programmes envisagés pour le mettre concrètement en œuvre. L'impression immédiate de l'évaluateur à la sortie de l'entretien doit être exploitée comme une ressource à part entière. La méthode peut cependant être utilisée dans tous les secteurs. Jugement porté par les évaluateurs : c'est-à-dire prenant à leur compte avec ou sans réserves, ou rejetant les observations des responsables consultés. On désigne par échantillon le groupe de personne qui sera enquêté effectivement. Pauvreté, richesse et creusement des inégalités sociales, La "soutenabilité" (durabilité) des réformes. L'évaluateur peut donc être recruté localement ou bien assisté par un interprète pour toute ou partie de l'étude, (ex : dialogue avec les bénéficiaires). Système d'indicateur de la commission européenne, Système d'indicateurs de la Direction Générale du Développement pour les évaluations de performance de l'aide au pays, Indicateurs associés aux Objectifs du Millénaire, Cadre d'indicateurs des Bilans Communs de Pays, Définition d'un cadre d'indicateurs communs, Parmi les instruments utilisés pour réaliser ces bilans de pays, un cadre d'indicateurs. Taux de mortalité infantile d'enfants de moins de 5 ans, 4. Cette usage particulier de l'entretien permet d'augmenter les chances de recueillir l'information voulue. Difficulté de certaines régions à identifier les compétences nationales et locales pouvant aider l'évaluateur dans la préparation et l'animation de ces entretiens de groupe. Edizione di Comunità, Milano 1961. L'évaluateur doit s'assurer que toutes les sources d'information sont bien exploitées : données statistiques de contexte, données de mise en œuvre, rapports existants, entretiens avec les bonnes personnes en mélangeant les catégories (administrations, contrôle, opérateurs, recherche, ONG, bénéficiaires, etc. Il peut, le cas échéant, utiliser les outils d'analyse. Il est donc recommandé de commencer simultanément par les deux extrémités. Les focus groups sont généralement menés par un animateur (ou modérateur) qui doit être sélectionné en fonction de sa capacité à créer et à maintenir une dynamique de groupe. Leur formulation ne doit pas influencer la réponse, par exemple en impliquant une réponse de nature positive ou négative. La plupart des problèmes graphiques peuvent être résolus à l'aide du logiciel MS PowerPoint. Afin d'éviter les biais d'interprétation ou d'empathie, on recommande souvent aux experts qui conduisent entre deux réunions des travaux pour le compte du panel (comme la visite d'un site, par exemple) de le faire par binôme au moins. Sa validité doit être testée dès le stade de la conception qui intègre : Si un seul de ces points est mal conçu, c'est l'ensemble de l'étude de cas qui est remis en cause. Workshop on Accounting Frameworks to Measure Sustainable Development, Paris, Mai 2003. jusqu'à une notation maximum définie par le groupe : par exemple 5. Dans les situations ex ante d'aide à la décision, les analyses multicritères durent, en général, plusieurs mois. Par exemple : si le premier numéro fourni est 3 et si le pas de tirage est égal à 5, c'est le troisième ménage de la liste du bordereau qui sera enquêté. Celui-ci n'intervient que pour faciliter l'expression de la personne interrogée ou pour l'amener à approfondir certaines questions. Ce travail est nécessaire pour pouvoir identifier précisément au sein des catégories d'acteurs et de bénéficiaires, les différents groupes d'intérêt stratégiques qui se dessinent. Le site de l'agence internationale nommée "Performance Assessment Resource Centre" dit PARC, possède une série d'adresses électroniques permettant de retrouver les rapports disponibles (ou leur résumé) chez de nombreux bailleurs. Elle est également parfaitement adaptée à l'évaluation projet. Elle peut donc également avoir sa place au moment de la rédaction des CSP (Country Strategy Paper) et lors de leur évaluation. Le questionnaire fermé permet de quantifier les poids respectifs des opinions exprimées. Dans ce cas, le focus group est plutôt utilisé comme un moyen d'expression publique de ces informations. Si la confidentialité a été posée par l'interlocuteur comme condition sine qua non, ce principe doit être respecté, tout comme la préservation de la vie privée de la personne. Il s'agit de rencontrer des acteurs participant au processus d'élaboration, de définition, de négociation et de choix opérationnels de mise en œuvre de la politique.