Measuring Transparency in Medicines Registration, Selection and Procurement

Publication date: 2006

Measuring Transparency in Medicines Registration, Selection and Procurement Four Country Assessment Studies   WHO/PSM/PAR/2006.7                                 Measuring transparency in medicines registration, selection and procurement Four country assessment studies                                         © World Health Organization 2006  All  rights  reserved. Publications of  the World Health Organization  can be obtained  from WHO Press,  World Health Organization, 20 Avenue Appia, 1211 Geneva 27, Switzerland (tel.: +41 22 791 3264; fax: +41  22  791  4857;  e‐mail:  bookorders@who.int).  Requests  for  permission  to  reproduce  or  translate  WHO  publications – whether for sale or for noncommercial distribution – should be addressed to WHO Press, at  the above address (fax: +41 22 791 4806; e‐mail: permissions@who.int).   The  designations  employed  and  the  presentation  of  the material  in  this  publication do  not  imply  the  expression of any opinion whatsoever on the part of the World Health Organization concerning the legal  status  of  any  country,  territory,  city  or  area  or  of  its  authorities,  or  concerning  the delimitation  of  its  frontiers or boundaries. Dotted lines on maps represent approximate border lines for which there may not  yet be full agreement.    The mention of  specific  companies or of  certain manufacturers’ products does not  imply  that  they are  endorsed or recommended by the World Health Organization in preference to others of a similar nature  that  are  not  mentioned.  Errors  and  omissions  excepted,  the  names  of  proprietary  products  are  distinguished by initial capital letters.    All reasonable precautions have been taken by the World Health Organization to verify the information  contained in this publication.  However, the published material is being distributed without warranty of  any kind, either expressed or implied.  The responsibility for the interpretation and use of the material lies  with the reader.   In no event shall the World Health Organization be liable for damages arising from its  use.              Contents Acknowledgements . i Executive summary . iii 1. Introduction . 1 2. Objective of the country transparency assessments. 3 3. Methodology. 5 3.1 Data collection method.5 3.2 Data analysis and scoring .5 3.3 National investigators .6 4. Findings and discussions . 7 4.1 General .7 4.2 Registration .8 4.2.1 Strengths.8 4.2.2 Weaknesses .9 4.2.3 Variations .10 4.3 Selection .11 4.3.1 Strengths.11 4.3.2 Weaknesses .12 4.3.3 Variations .12 4.4 Procurement .13 4.4.1 Strengths.13 4.4.2 Weaknesses .16 4.4.3 Variations .17 5. Conclusions and recommendations for action. 19 General .19 Specific .20 Annex 1 - Questionnaire registration. 23 Annex 2 - Questionnaire selection . 27 Annex 3 - Questionnaire procurement. 29       i Acknowledgements This report is a synthesis of the results of four country studies carried out by WHO (WPRO,  SEARO  and  Headquarters)  with  the  participation  of:  Lao  Peopleʹs  Democratic  Republic,  Malaysia, the Philippines and Thailand. WHO would like to thank the governments of these  countries  for  their  cooperation  and  assistance.  The  country  assessment  studies  were  conducted by the following national investigators recruited by WHO:     Lao Peopleʹs Democratic Republic  • Dr Kongkeo Chounlamountry   • Dr Chanthanom Manithip    Malaysia  • Prof Dr Abu Bakar Abdul Majeed  • Dr Salmah Bahri    Philippines  • Prof Ma. Lourdes G. Rebullida  • Ms Carolina Belisario    Thailand  • Dr Niyada Kiatying‐Angsulee  • Mrs Wipada Sriprateth    Dr  Budiono  Santoso  and  Dr  Vanchinsuren  Lkhagvadorj  (WHO  Regional  Office  for  the  Western Pacific, WPRO)  and Dr Krisantha Weerasuriya  (WHO Regional Office  for  South‐ East Asia, SEARO) coordinated the contacts and follow‐up with countries.     The  assessment  methodology  used  in  the  studies  was  developed  by  Dr  Jillian  Cohen  (Toronto  University  Faculty  of  Pharmacy)  and  Dr  Guitelle  Baghdadi‐Sabeti  (WHO/Department  of  Medicines  Policy  and  Standards).  Comments  on  the  assessment  instrument  provided  by  Mr Eshetu  Wondemagegnehu  (WHO/Department  of  Technical  Cooperation for Essential Drugs and Traditional Medicine), Dr Budiono Santoso and Dr Kris  Weerasuriya were greatly appreciated.     Dr  Budiono  Santoso,  Dr  Vanchinsuren  Lkhagvadorj  and  Mr  Jun  Yoshida  planned  and  organized  the  ʺInformal Preparatory Meeting  in Promoting Ethical Practices  in Medicines  Registration and Procurement Systemsʺ on 25‐26 November 2004, in Manila, the Philippines,  during  which  the  eight  national  investigators  were  introduced  to  the  assessment  methodology.  Dr  Guitelle  Baghdadi‐Sabeti  facilitated  the  sessions  and  presented  the  methodology to participants.    ii This  synthesis  report  was  prepared  by  Dr  Guitelle  Baghdadi  and  Mr  Eshetu  Wondemagegnehu. The  authors gratefully  acknowledge  the  contribution of  the  following,  who  reviewed  and  commented  on  the  draft  document:  Dr  Hans  Hogerzeil  (WHO/Department  of  Medicines  Policy  and  Standards),  Dr  Budiono  Santoso  and  Nik  Noraihan  Thani  Bt.  Nik  Hassan  Thani  (Ministry  of  Health,  Malaysia),  and  Dr  Sirinart  Vasanavathana (Thai Food and Drug Administration).     WHO  is grateful  to  the Australian Agency  for  International Development  (AusAID)  for  its  generous contribution to this project. The studies would not have been possible without the  Agencyʹs financial support.       Executive summary   iii Executive summary Despite  revolutionary  scientific  progress  and  the  sustained  efforts  of  the  development  community, access to good quality essential medicines remains very limited in many parts of  the world. This health crisis has many complex causes, including poverty, under‐investment  in  health  systems  and  war.  Corruption  is  another  cause  currently  gaining  increasing  attention, as growing numbers of public health officials  in ministries of health and national  medicines regulatory authorities are recognizing the need for their institutions and personnel  to work in a transparent and accountable environment.    The pharmaceutical sector is particularly vulnerable to corruption, which manifests itself in  various  forms,  including  bribery,  fraud,  favouritism,  collusion  and  embezzlement  at  different  levels  of  the  medicines  chain.  The  impact  on  peopleʹs  health  should  not  be  underestimated, as children and adults may end up taking unsafe or low‐quality medicines.  In  addition  waste  of  public  or  private  resources  can  have  an  enormous  impact  on  the  economy at national, hospital and household  levels. Corruption also reduces the credibility  of public institutions and the health profession, and erodes public trust.     Recognizing  this  long‐standing  problem,  in  2004  WHO  initiated  the  Good Governance  for  Medicines Project, which offers a technical support package for tackling unethical issues in the  public  pharmaceutical  sector.  Initially  the  countries  implementing  this  project  conduct  an  assessment measuring the transparency of national medicines regulatory agencies and public  procurement  systems.  This  is  followed  by  a  process  of  policy  reform,  promoting  good  governance and the application of ethical principles.     This report summarizes the findings of the transparency assessments carried out in the first  four countries participating  in  the project, Lao Peopleʹs Democratic Republic, Malaysia,  the  Philippines and Thailand.  It provides a comprehensive picture of  the  level of  transparency  and  potential  vulnerability  to  corruption  in  three  essential  functions  of  the  public  pharmaceutical  sector  ‐  registration,  selection  and  procurement  of  medicines.  The  methodology provides both qualitative  and quantitative  information.  In  each  country  two  national investigators collected data, conducting a series of interviews with carefully selected  key informants.  General findings Qualitative information revealed that although the four countries have different public sector  procurement  and  medicines  regulation  profiles,  they  have  some  common  strengths  and  weaknesses.  For  example,  all  countries  have  transparent  (written  and  publicly  available)  procurement Standard Operating Procedures, but none required a conflict of interest form to  be completed for members of the registration or selection committees.     Measuring transparency in medicines registration, selection and procurement: Four country assessment studies  iv The  information  collected and  then  converted using a  rough quantification method  into a  zero to 10 scale, provides a score for each country and each function in terms of vulnerability  to corruption (minimally  to extremely). The scoring shows  the vulnerabilities  in  the policy,  regulatory and administrative structures and procedures at the time of the survey, but in no  way implies the level of possible existing corruption in the countries reviewed.  Registration All four countries were reported to have a list of registered pharmaceutical products, written  procedures and a standard application form for submission of applications, and a committee  responsible  for  registration  of  pharmaceutical  products.  However,  at  the  time  of  the  assessment none of the countries had a written document describing the composition and the  terms of reference of the registration committee, nor a conflict of interest form for committee  members.     The decision‐making process appeared to vary greatly between countries, but each provides  an official written document for all decisions regarding applications. An appeals process for  those who have their applications rejected exists in most countries, but the level at which it  functions varies.   Selection All countries were reported to have a national essential medicines list, and publicly available  criteria and transparent procedures for the selection process for inclusion in or deletion from  the  list. As with  registration  committee members,  the members of  the  selection  committee  were not required to fill in a conflict of interest form.     In general, the criteria for choosing members of the selection committee scored quite low in  all countries, but with a degree of variation. Terms of reference for the selection committee  existed  in  some  but  not  all  countries,  and  they  were  not  always  publicly  available.  The  decision‐making  processes  were  also  found  to  have  different  levels  of  clarity  and  transparency.   Procurement All  four  countries  are  reported  to use  competitive  and  transparent procedures  to procure  pharmaceutical products, with some variation in their practices. They also used an objective  quantification  method  to  determine  the  quantity  of  products  to  be  purchased.  The  post‐ tender system to monitor and report suppliersʹ performance scored generally high in all four  countries. However,  the  appeals  process  for  applicants who  have  their  bids  rejected will  need to be either instigated or strengthened, depending on the country. The indicator related  to  the  audits  of  procurement  offices  scored  low  in  most  countries,  showing  the  need  to  strengthen this service.     Executive summary   v The existence and use of criteria  for  tender committee membership varied greatly between  countries. In some countries membership is based on function, in others by field of expertise.  Similarly, the management information system used to report product problems is different,  manually documented in some countries and computerized in others, at central level in some  countries and decentralized in others.   Conclusions and recommendations Experience  in  promoting  good  governance  shows  that  two  basic  strategies  are  needed,  a  ʺdiscipline  approachʺ  based  on  the  legislative  and  administrative  reforms  necessary  to  establish  transparent  systems,  and  a  ʺvalues  approachʺ,  building  institutional  integrity  through the promotion of moral values and ethical principles. The first strategy is by nature  top‐down, whereas the latter tends to be a bottom‐up approach.     The results of the transparency assessments will provide the evidence for countries to revise  and adjust  their  laws and policies as well as the administrative structures and processes  in  place  to  ensure  transparency  in  medicines  regulation  and  public  procurement.  The  assessments will  also provide  a platform  for discussion  at national  level  on developing  a  national ethical framework and for implementing a strategy promoting good governance in  medicines  regulation  and procurement. The  strategy needs  to  include  the development of  codes of conduct, socializing the national ethical framework through a systematic process of  reflection and  training of government officials and health professionals. A whistle‐blowing  protection mechanism should also be established and a working group for coordinating and  managing strategy implementation should be nominated.     Measuring transparency in medicines registration, selection and procurement: Four country assessment studies  vi   Introduction   1 1. Introduction The  20th  century witnessed  revolutionary  scientific  advances  in  the  development  of  new  treatments and in improving human health. Yet at the beginning of the 21st century the most  essential medicines remained unavailable, unaffordable, unsafe or improperly used in many  parts  of  the  world,  despite  intensive  efforts  by  countries,  development  agencies  and  the  donor  community. This health  crisis has many  complex  causes,  including poverty, under‐ investment  in  health  systems  and  war.  Corruption  is  another  cause  currently  gaining  increasing attention, as growing numbers of public health officials within ministries of health  and national medicines regulatory authorities are recognizing the need for their institutions  and personnel to work in a transparent and accountable environment.     The World Bank  identifies corruption as the single greatest obstacle to economic and social  development. Corruption is often rampant at national level, and this includes the health and  pharmaceutical sectors. For example, it is estimated that fraud and abuse in the health sector  cost US$ 12 to 23 billion annually in the USA, that in Cambodia, 5% of the health budget is  lost  in  corruption  and  that  in Uganda,  two‐thirds  of medicines  supplies  are  lost  through  corruption and fraud in hospitals.1    The pharmaceutical sector is highly vulnerable to corruption and unethical practices, due in  part  to  the  high  market  value  of  pharmaceutical  products.  Moreover,  the  stakeholders  involved  are  numerous,  diverse  and  have  different  objectives.  They  include  researchers,  manufacturers,  wholesalers,  retailers,  prescribers,  sales  representatives,  regulators  and  policy‐makers. Corruption can manifest itself in many forms and throughout the medicines  chain. For  example,  in  the  form  of bribery  of  a public  official  to  facilitate  the  registration  process of a medicine,  favouritism when  recruiting new staff or when selecting committee  members, fraud or collusion in procurement, or thefts and embezzlement in the distribution  chain.2     The  impact  of  corruption  in  the  pharmaceutical  sector  should  not  be  underestimated.  Although it  is very difficult to measure, experience has shown that corruption  in the sector  has a three‐fold impact:     1. A  health  impact  —  waste  of  public  resources  by  purchasing  expensive  or  non‐ essential  products  reduces  government  capacity  to  provide  access  to  good‐quality  essential medicines. Equally, when purchasing agencies  collude with  suppliers and  purchase poor quality products not only is public money wasted but also the health  of consumers  is adversely affected. Patients  treated with poor quality medicines are  not cured quickly ‐ they suffer for  longer and in some cases they may even develop  resistance to treatment.                                                          1   Global corruption report. New York: Transparency International; 2006.  2   WHO medicines strategy ‐ countries at the core: 2004‐2007. Geneva: World Health Organization; 2004.  (WHO/EDM/2004.5).  Measuring transparency in medicines registration, selection and procurement: Four country assessment studies  2 2. An economic impact — when the budget of the public sector procurement agencies is  wasted  in  purchasing  expensive  products  instead  of  good‐quality  versions  of  the  same products at cheaper prices, or when  funds are mismanaged,  it means wasting  national foreign exchange reserves as well as national currency. Such practices impact  very negatively on national health budgets and contribute to shortages of medicines.   3. A government image and trust impact — inefficiency and lack of transparency reduce  the  credibility  of  public  institutions,  and  erode  public  and  donor  confidence  in  government capacity to deliver on promises.     Recognizing  that  corruption  is  a  long‐standing  and  immense problem,  in  late  2004 WHO  initiated the Good Governance for Medicines Project.     It offers a means of tackling some of these  issues as they appear within the pharmaceutical  sector. The project has two main objectives:     ¾ to raise awareness of the potential for corruption in medicines procurement systems  and national medicines regulatory systems; and   ¾ to  minimize  such  corruption  by  promoting  and  implementing  good  governance  within the public pharmaceutical sector.     The project is implemented through a three‐step process:    a) national assessment of  transparency and vulnerability  to  corruption of national  public procurement systems and of national medicines regulatory authorities;   b) development and  implementation, via a consultative process, of national ethical  frameworks promoting good governance in the public pharmaceutical sector;   c) socializing  the national ethical  framework by  training national officials on good  governance principles in the public pharmaceutical sector.     This  report  summarizes  the  findings  of  assessments  carried  out  in  the  first  countries  participating in the Good Governance for Medicines Project ‐ Lao Peopleʹs Democratic Republic,  Malaysia,  the Philippines and Thailand  ‐  in  the  first six months of 2005. The  findings were  reported and discussed during the first annual ʺBi‐Regional Workshop on Promoting Ethical  Practices in Medicines Registration and Procurementʺ held in Penang, Malaysia, 31 May ‐ 2  June 2005. In 2006, Bolivia, Cambodia, Mongolia and Papua New Guinea  joined the project  by  conducting national  transparency assessments, and  their  findings will be  the  subject of  another report.           Objective of the country transparency assessments   3 2. Objective of the country transparency assessments The  objective  is  to  provide  countries  with  a  comprehensive  picture  of  the  level  of  transparency  and  potential  vulnerability  to  corruption  of  three  pharmaceutical  sector  functions:    1. registration of medicines   2. selection of essential medicines  3. procurement of medicines.    This  is an essential step prior  to developing a national ethical  framework promoting good  governance  in  the  public  pharmaceutical  sector  and  to  revising  related  administrative  procedures through a national consultation process.     The projectʹs vision  is  that  the  transparency assessment  is not an end  in  itself, but  is rather  the beginning of a process aimed at bringing  long‐lasting changes  in the efforts to promote  good governance practices among health professionals  in  the public pharmaceutical sector.  The assessment  is an essential  first step as  it provides  the evidence and  the  framework  for  building a pharmaceutical sector  that  is more  transparent and accountable  in participating  countries,  which  in  turn  will  help  to  improve  equitable  access  to  good‐quality,  safe  medicines.   Measuring transparency in medicines registration, selection and procurement: Four country assessment studies  4 Methodology   5 3. Methodology The  methodology  used  in  this  assessment  provides  both  qualitative  and  quantitative  information  on  the  level  of  transparency  present  in  three  functions  of  the  public  pharmaceutical sector ‐ namely registration of pharmaceutical products, selection of essential  medicines and procurement. It collects qualitative information on structural indicators and a  rough quantification is then used to define the level of transparency for each function.   3.1 Data collection method The  assessment  instrument  contains  three  questionnaires,  one  for  each  function  (see  annexes 1‐3).1 Each  questionnaire  is  used with  key  informants  (KIs)  selected  according  to  explicitly  defined  criteria. At  least  10 KIs  are  interviewed  for  each  function  to  provide  a  minimum  amount  of  information,  and  the  data  provided  are  compared  and  confirmed  where possible. In this way, a minimum of 30 KIs are interviewed in each country.    KIs  are  selected  because  of  their  first‐hand  knowledge  and/or  involvement  in  the  pharmaceutical  sector.  For  each  function,  they  should  include  both  senior  and  junior  professionals,  and  represent  the  public  and  private  sectors,  including  civil  society  organizations.   3.2 Data analysis and scoring In order to minimize subjective interpretation of KIsʹ responses, each indicator is formulated  to require a binary answer (yes/no). Further, interviewers must request documents from key  informants  in order  to validate positive  responses.  In  this methodology, a  ʺyesʺ  is given a  value  of  one  (1)  and  a  ʺnoʺ  is  given  a  value  of  zero  (0).  A  value  of  one  represents  low  vulnerability to corruption (as long as it is supported by the existence of a publicly‐available  document  that  describes  the  process  or  decision  criteria).  A  rating  of  zero  represents  potential vulnerability to corruption since the absence of a standardized process or decision  criteria provides decision‐makers with broad discretion in their decision‐making.                                                           1   The draft assessment instrument used in the Good Governance project is being tested and further  refined in the light of the experience gained in countries. The version used in these four initial countries  is dated 8 December 2004. The subsequent version, used in the three additional countries which have  recently joined the project, includes two additional functions, control of medicine promotion and  inspection of establishments. In the future, other functions (e.g. clinical trials, distribution) may also be  included, based on availability of resources.  Measuring transparency in medicines registration, selection and procurement: Four country assessment studies  6 Once all  the  interviews with KIs are complete and all  indicators are rated according  to  the  criteria,  an  average  rating  is  calculated  for  the  questions  concerning  each  function  (registration,  selection  and  procurement).  Using  a  quantification  method  the  results  are  converted to a zero to ten (0.0 to 10.0) scale, and are interpreted as representing the following  degrees of vulnerability to corruption.1    0.0 ‐2.0  2.1 ‐4.1  4.1‐6.0  6.1‐8.0  8.1 – 10.0  Extremely  vulnerable  Very vulnerable  Moderately  vulnerable  Marginally  vulnerable  Minimally  vulnerable  3.3 National investigators Two national investigators (NIs) were selected for each country to undertake the assessment.  To ensure an objective interpretation of the results, NIs are chosen from independent groups  outside the Ministry of Health. Given that the subject under review may raise sensitivities in  some  countries,  it  is  essential  for  the  credibility  of  the  results  that  the  assessments  are  conducted  by  senior  professionals  from well‐recognized  and  trusted  organizations  in  the  country. This was the case in this first round of national assessments, as they included a dean,  professors and senior  lecturers and  independent consultants. Five NIs were from academia  (pharmacy,  public  health),  one  from  a  research  institute,  one  from  a  nongovernmental  organization  and  one  from  an  independent  consulting  firm.  Before  conducting  the  assessments  in  their  respective countries,  the eight NIs attended a preparatory meeting on  25‐26 November 2004, in Manila, the Philippines, during which they were introduced to the  WHO methodology.                                                           1   For more details and exact quantification method used, see assessment instrument.   Findings and discussions   7 4. Findings and discussions The overall scores for each country and each function are summarized in Table 1.     Table 1: Vulnerability scale scores in registration, selection and procurement for all countries   Lao PDR  Malaysia  Philippines  Thailand  5.6  6.8  6.8  7.0 Registration  Moderate  Marginal  Marginal  Marginal  6.1  5.7  6.1  8.0 Selection  Marginal  Moderate  Marginal  Marginal  6.9  7.1  8.5  7.1 Procurement  Marginal  Marginal  Minimal  Marginal  4.1 General Even though the four countries under review have different public sector procurement and  medicine  regulation profiles,  the  findings  show  some  common  strengths  and weaknesses.  For  example,  among  the  common  strengths  are  having  an  information  system  for  the  registration  process  of  pharmaceutical  products,  including  a  defined  minimum  level  of  information,  having  an  official  national  list  of  essential  medicines  and  transparent  procurement  Standard  Operating  Procedures  (SOP).  One  common  weakness  in  all  four  systems  is  the  lack  of  a  conflict  of  interest  (COI)  form  or  guidance  for  the  members  of  committees responsible for the registration of pharmaceutical products or for the selection of  essential medicines.1     It  is  important  to  note  that  this  scoring  indicates  vulnerability  to  corruption,  given  the  policy/regulatory and administrative procedures  in place at  the  time of  the survey.  It does  not imply in any way that one countryʹs system is more corrupt than another. At the time of  writing, many  countries have  already  taken  steps  to develop national  ethical  frameworks  and  to  revise  some  administrative  procedures,  so  that  a  new  assessment would  result  in  higher scores. The scoring system is meant to help countries monitor progress in their efforts  to improve transparency and good governance practices in the public pharmaceutical sector  over time.                                                         1   Thailand has a COI form for the committee responsible for the selection of essential medicines, however  it does not include some basic information examined in this assessment, and so scores low.    Measuring transparency in medicines registration, selection and procurement: Four country assessment studies  8 4.2 Registration In  all  four  countries,  registration  of  pharmaceutical  products  is  the  responsibility  of  a  regulatory  agency,  which  is  under  the  Ministry  of  Health.  The  names  given  to  these  regulatory agencies differ between countries, as summarized in Table 2 below. These names  and acronyms will be used when referring to the findings of each country.    Table 2: National medicine regulatory authorities Lao PDR  Ministry of Health (MoH)  Food and Drug Department  (FDD)  Malaysia  Ministry of Health (MoH)  National Pharmaceutical  Control Bureau (NPCB)  Philippines  Department of Health  (DoH)  Bureau of Food and Drug  Registration (BFAD)  Thailand  Ministry of Public Health  (MoPH)  Thai Food and Drug  Administration (Thai FDA)  4.2.1 Strengths The common strengths found in the four countries include the existence of:    • A  list  of  all  registered  pharmaceutical  products  and  an  information  system  for  the  registration process  of pharmaceutical products which  include  a  defined minimum  level  of  information,  such  as  the  product  description,  the  name  of  the  manufacturing company,  the date of  the registration, and the name and contact  information of the company registering the medicines (indicator 1).    • Written  procedures  on  how  to  submit  and  assess  applications  for  registration  of  medicines  products.  These  are  publicly  accessible  in  all  four  countries,  and  describe the process to follow and the fees required (indicators 2 and 16).   • A  standard  application  form  for  submission  of  applications,  which  is  publicly  accessible  and  readily  available  at  a  government  office  or  on  a  web  site  (indicators 3 and 4). All countries reported  that  their  forms require a minimum  level  of  information,  such  as  the  name  of  the  product  (including  the  generic  name),  a  summary  of  product  characteristics  (pharmacological  action,  therapeutic classification) and the packaging material.   • A  formally  established  and  operational  committee  responsible  for  registration  of  pharmaceutical  products  composed  of  professionals  with  technical  skills,  which  meets  on  a  regular  basis  (indicator  5).  A  summary  description  is  included  in  Table 3.  • The existence of a mechanism whereby once decisions are made, the responsible  committees provide official written documents for all decisions regarding applications,  explaining the reasons for rejection if necessary. (indicator 8).     Findings and discussions   9 Table 3: Summary description of committees responsible for registration of pharmaceutical products Country  Description of committee  Other comments  Lao PDR  Established by MoH decree in 1998   composed  of  the  FDD  director  (chief  of  committee),  heads  of  other  departments  (Curative Department, Food and Drug Quality  Control  Centre,  staff  of  the  Drug  Unit),  and  specialists  scheduled to meet every 3 months.  If medicines already  included on the EML, the  head and staff of the Drug  Unit can make the decision  and then write a report to the  chief of the committee.   Malaysia  Drug Control Authority  (DCA)  set  up  by  law  (Control  of  Drug  and  Cosmetic  Regulation  ‐  CDCR) in 1984  members are specified in the law and appointed  by the Minister of Health  includes mostly pharmacists and doctors  meets once a month.    Philippines  Products  and  Services  Division  (PSD)  is  the  office in charge  three  types of committee  identified  for making  decisions on applications   evaluation committee, within the PSD  advisory  committee  composed  of  external  consultants expert in their field  management committee.  The management committee  was known to meet  regularly, but KIs gave  contradictory information on  the regularity of evaluation  committee meetings.  Thailand  Drug committee set up by Drug Act  appointed by the Minister of Health every two  years  19‐23 members by law  14 regular members, of which 9 by position  (usually head of organization) and 5 are ex‐ officio members (appointment based on their  positions in pharmaceutical‐related  organizations)  5‐7 members are appointed from  pharmaceutical and medical experts  the committee appoints sub‐committees to  assist them in their tasks.  Sub‐committees are in  practical terms responsible  for decisions to approve or  reject applications. They  submit their decisions  directly to the Secretary‐ General of the Thai FDA for  signature, without going  through the drug committee,  if these are straightforward.  However, problematic  applications are considered  by the committee.   4.2.2 Weaknesses The common areas  identified as  requiring  strengthening  in  the  four countries  include  the  need to:     • Develop a written document that describes clearly the committeeʹs composition and  terms of reference. A basic document describing the composition of the committee  usually existed, however the assessments demonstrated that there was a  lack of  information on the terms of reference and that these documents were incomplete.  For  example,  they  were  not  up‐to‐date,  did  not  describe  the  duties  and  responsibilities  of  committee  members  or  were  not  always  easily  accessible  (indicators 6 and 9).   Measuring transparency in medicines registration, selection and procurement: Four country assessment studies  10 • Develop  a  conflict  of  interest  form  that  members  of  the  committee  and  public  officials are obliged to complete. A conflict of interest (COI) form needs to define  what  a COI  is  and  the  sanctions  to  be  applied  in  case  these  are  not  declared  (indicator 11). Here all countries scored zero.   4.2.3 Variations • The decision‐making process of the responsible registration committees, including their  role  and  the  way  they  reach  decisions,  is  different  in  the  four  countries  (indicators 7, 10 and 15). It is important to reiterate that in all four, regardless of  the decision‐making process, all decisions are supported with an official written  document (indicator 8).  • In the Lao Peopleʹs Democratic Republic, the committee reaches its decisions by  majority,  and  these  then  need  to  be  signed  off  by  the  head  of  the  medicines  regulation authority (Director, FDD).   • In Malaysia,  the DCA  itself  can make  the decisions  on whether  to  approve  or  reject  an  application  through  consensus  or  voting,  without  having  to  refer  to  another  entity.  However  there  was  a  perception  among  some  KIs  that  the  decision‐making  process  is  not  democratic  enough.  The  Malaysian  NIsʹ  interpretation  is  ʺThis  may  not  truly  indicate  vulnerability  to  corruption,  as  perception may play a dominating role here, or is due to the fact that sometimes  civil servants are not known  to be very vocal when having  to attend a meeting  chaired by a very senior officerʺ.   • In  Thailand,  the  responsible  sub‐committees  act  in  an  advisory  capacity  and  report  to  the Secretary General of  the Thai FDA who makes  the  final decision.  However,  it was  reported  that usually all of  the  sub‐committeesʹ proposals are  passed.   • In  the Philippines,  the PSD evaluation committee does not make or  implement  final decisions but submits the recommendations to higher authorities for action.  Based  on  the  information  received  from  KIs,  the  decision‐making  role  of  the  committee scored rather low. See Box 1 for details of the decision‐making process.     Box 1: Philippines' registration decision-making process ¾ applications  first  evaluated  by  junior  and  senior  evaluators from PSD  ¾ then  sent  to  respective  members  of  the  advisory  committee, according to their expertise  ¾ finally, evaluation results sent  to  the head of PSD who  sends the recommendation to the BFAD Director  ¾ BFAD Director may make  the decision or  refer  special  cases to the management committee.   Findings and discussions   11 An  appeals  process  for  applicants  who  have  their  application  rejected  exists  in  Malaysia,  the  Philippines  and  in Thailand,  although  it  functions  at different  levels  but  no  such process  exists  in  the Lao Peopleʹs Democratic Republic  (indicator 12). The  law  in Malaysia and  the  Philippines  prescribes  that  an  applicant  can  present  an  appeal  directly  to  the  highest  authorities after the issuance of the committeeʹs decision. This fact is well known in both the  private and public sectors  in the Philippines, however  in Malaysia some KIs were unaware  of it. In Thailand, detailed procedures are not clearly defined and all appeals are submitted  to the same committee that made the original decision on the application.   4.3 Selection The names  and  the  formats  of national  essential medicines  lists  (EMLs) differ  in  the  four  countries. It can exist as a simple list including the name and the therapeutic category, or it is  incorporated  in  a  more  comprehensive  document  with  more  detailed  information  (indications, side‐effects, etc.), often the national formulary. In some countries both versions  exist, but usually one  is used more  than  the other. The  terminologies and common  format  used  in each country  to refer  to  their national EML are summarized  in Table 4 and will be  used in this report.     Table 4: Terminology used by countries to refer to their national essential medicines list Lao PDR  National Essential Drugs List (NEDL)  Malaysia  Blue Book or MoH Drug Formulary  Philippines  Philippine National Drug Formulary (PNDF)  Thailand  National List of Essential Medicines (NLEM)  4.3.1 Strengths The common strengths found in the four countries under review include:    • The availability of a national essential medicines list, which received the maximum  score of 1  in all  four countries  (indicator 19). This means  that not only did  the  national EML exist, but also  that KIs knew about  it. The  following points were  noteworthy:   ‐ The  responsibility  for  developing  the  national  EML  lies  with  the  national  drug  regulatory  authority  in  the  Lao  Peopleʹs  Democratic  Republic  and  Thailand,  whereas  in  Malaysia  and  the  Philippines  it  falls within the mandate of the MoH and DoH respectively.   ‐ In Malaysia, the list is reported to be available on the Government web  site.  ‐ In Thailand, the EML  is prepared and approved by the Sub‐committee  on Development of  the Essential Drugs List, which  operates  through  15  working  groups  divided  by  speciality  (e.g.  antimicrobial,  urology,  cancer, etc.). The list is available on the Thai FDA and MoPH web sites,  and hard copies are distributed nationwide.  Measuring transparency in medicines registration, selection and procurement: Four country assessment studies  12 • The  criteria  for  the selection process  for  including or deleting medicines  from  the  national EML were found to be publicly available and clearly written (indicators  21  and  22).  The  criteria  for  inclusion  of  new  products  on  the  EML  included  priority health needs and cost‐effectiveness.   • The procedures for the selection process were also found to be transparent and in line  with recommended WHO procedures  (indicators 20 and 25), such as medicines  being  listed  by  their  generic  name  or  linked  to  national  standard  treatment  guidelines.   4.3.2 Weaknesses The common areas identified as requiring strengthening in the four countries under review  include the need to:     • Develop  a  conflict  of  interest  form  that members  of  the  selection  committee  are  obliged to complete. A conflict of interest (COI) form needs to define what a COI  is and define the sanctions to be applied in case these are not declared (indicator  30). It should be noted that Thailand  is the only country that reported having a  conflict of interest form, however at the time of the assessment the form did not  define what  sanctions will be applied  in  case of breaches and  so  this  indicator  scores poorly.   • All countries reported not having a specific law or regulation prohibiting committee  members to accept gifts from pharmaceutical companies (indicator 29). In Malaysia  and  the  Philippines  the  government  public  servants  guidelines,  which  clearly  prohibit such acts, are considered to contain the general principles to follow.   4.3.3 Variations • The criteria for selecting members of the selection committee (indicators 23 and 27)  on average scored rather low for all four countries, with some degree of variation:  ‐ In  the  Lao  Peopleʹs  Democratic  Republic,  committee  members  included  experts  from  different  fields,  and  membership  was  on  a  rotating  basis,  but  the  criteria  for  selecting  the  members  were  not  defined  ‐ In Malaysia, although members of the committee are selected based on  their expertise and position, the criteria are not publicly available, their  appointment  is  not  made  public  and  there  was  no  indication  that  membership is rotating  ‐ In  Thailand,  the  criteria  for  selecting  members  exist  and  most  KIs  knew  that  they are publicly available. Rotation of membership  is not  required, although in practice rotation is commonly applied.   ‐ In the Philippines, the terms of membership are in the public domain,  however half of the KIs were unclear as to whether these are publicly  available or not. Rotation of members is done at national level.   Findings and discussions   13 • Terms of reference for the selection committee, describing its role and responsibilities  exist  in  the Philippines and Thailand, and are publicly available. They  exist  in  Malaysia but are not publicly available. In the Lao Peopleʹs Democratic Republic  the role and purpose of the committee are not clearly defined (indicator 26).   Table 5: Detailed information on selection committees' terms of reference (indicator 26) Sub‐criteria  Lao PDR  Malaysia  Philippines  Thailand  Terms of reference exist  no  yes  yes  yes  Terms publicly available  no  no  yes  yes    • The decision‐making process included in the SOPs have different levels of clarity and  transparency (indicators 24 and 28).   ‐ Thailand scores very high for both  indicators. The decisions made by  the  selection  committee  are  as  a  rule  widely  disseminated  and  available on the Internet.   ‐ In Malaysia, the decision‐making process is regarded as democratic by  KIs, the decisions are disseminated to public facilities and included in  the ʺBlue Bookʺ, however the dissemination is not made public or put  on the web site.   ‐ In the Philippines, the committee uses clear rules for decision‐making  and decisions are  reached by majority, but as  in Malaysia  it appears  that once made, decisions are only communicated to a limited number  of key players and are not disseminated widely.   ‐ In  the  Lao  Peopleʹs  Democratic  Republic,  decisions  are  reached  through  majority  vote,  but  no  information  on  the  level  of  dissemination was reported.     Table 6: Selection committees' decision-making process (indicators 24 and 28) Selected sub‐criteria  Lao PDR  Malaysia  Philippines  Thailand  Decisions publicly available  yes  yes   yes   yes  Decisions widely disseminated  ‐‐‐  no  no  yes  Decisions in democratic manner  yes  yes  yes  yes  4.4 Procurement 4.4.1 Strengths The common strengths found in the four countries include:    • Procedures  for  the procurement  of pharmaceutical  products  are  competitive  (indicator  33), with  some  variations  in  the  practice  between  countries  as  summarized  in  Table 7 below.  Measuring transparency in medicines registration, selection and procurement: Four country assessment studies  14   Table 7: Summary of information on procurement law/regulation and practices Country  Requirements by law/regulation  Common practice  Lao PDR  Ministry of Finance decree  N°0063/MoF and MoH Cabinet Notice  N°052/MoH authorizes four methods:   ‐ public bidding when value of 150  to 1,500 million kip   ‐ limited bidding when value of 30  to 150 million kip  ‐ price comparison when less than  30 million kip  ‐ direct contracting when  emergency or less than 1 million  kip.  ‐ Most of the time price comparison  is being used because of the  limited Government budget.  Malaysia  ‐ Competitive national tenders  through centralized purchasing  mechanism involving multiple  sources of supply for large volumes  ‐ Direct purchase through  quotations by individual hospitals  for selected or small volumes.  ‐ Mainly through negotiated  pricing, with a concession holder  approved by the Government.  ‐ Competitive bidding to a certain  extent for fair and efficient  procurement.   KIs believed procedures are  sufficiently competitive.  Philippines  Government Procurement Reform Act  R.A. 9184 requiring competitive  bidding and the use of standardized  bidding documents by all  Government agencies.   ‐ Bulk of medicines procurement in  DoH conducted through public  bidding.   ‐ In 2005, the budget for  procurement of medicines was  earmarked as follows:  - Ph peso 1.9 million through  public bidding  - Ph peso 363,713 through  alternative methods of  procurement.  Thailand  Regulation includes 3 levels of  purchasing:  ‐ Bidding or ʺelectronic auctionʺ  when purchasing value is more  than 2 million baht   ‐ Tender value between 100,000  baht and 2 million baht  ‐ Negotiation when value less than  100,000 baht.   Purchasing by special means is  possible if it is a cabinet decision.  Special purchasing is also possible  when it is impossible to purchase via  the regulated methods, for example  when there are no tender offers.     Findings and discussions   15   • The  use  of  transparent  procedures  for  procurement  of  pharmaceutical  products  (indicators  34,  35,  37,  40,  41,  50  and  53). 1  All  four  countries  have  written  procedures that are publicly available and include specific requirements such as  the use of generic names and procurement to be based on the NEML.     Table 8: Comparative analysis of transparency in procurement procedures no  Indicator  Lao PDR  Malaysia  Philippines  Thailand  34  Clearly written and updated in last 5 years  Yes  Yes  Yes  Yes  35  Publicly available &  disseminated  Yes  On web site  On web site  Yes  37  Based on NEML  Most of drugs  Yes, included  in ʺBlue  Bookʺ  Most of  drugs  Yes  40  Contract specifications  publicly available and  included in tender  documents  Yes  Yes  Yes  Yes, for  purchase  value over  100,000 baht  41  Tenders publicized  Rarely  publicized  (only when  value over  150m kip)  Yes, in local  newspaper,  international  publications  and/or MoH  web site  Yes  Yes, for  purchase  value over  100,000 baht  50    Use of generic names    Yes  Yes  Majority of drugs  yes  53  Adjudication criteria  publicly available and  included in tender  package  Yes  Yes  Yes  Mostly not    • The  use  of  an  objective  quantification  method  to  determine  the  quantity  of  pharmaceutical products to be purchased by government officials (indicator 36).  The  use  of  historical  data  based  on  previous  consumption  and  basic  national  health care indicators were reported by all countries.   • A clear procedure to ensure that payment is linked to drug delivery  is well established  in all four countries (indicator 47). This procedure usually records among other  things the dates of payment and the list of all purchase receipts.   • The  post  tender  system  to  monitor  and  report  on  suppliersʹ  performance  generally  scores high  in all countries with some minor variations between countries.  It  is  also generally believed  that suppliersʹ performance  is  linked  to  future decisions  (indicators 43 and 44).                                                          1   All 7 indicators are being analysed together to reflect the revised assessment instrumentʹs structure in  which they are all clustered as sub‐questions in one indicator.   Measuring transparency in medicines registration, selection and procurement: Four country assessment studies  16 ‐ In Malaysia, this is done at end‐user level (hospitals and health centres)  with a specific form available for this purpose.   ‐ In  Thailand,  there  is  no  official  requirement  and  it  is  left  to  the  discretion  of  hospitals  to  decide.  However  many  of  them  evaluate  suppliers performance, specially those ISO 9000‐certified hospitals.   ‐ In the Philippines, it was reported that the DOH maintains a ʺblacklistʺ  of  suppliers  and  the majority of KIs believed  that  the  information  it  contains  is  used  when  considering  future  decisions.  However  a  KI  from  an  NGO  reported  that  in  one  instance  a  company  which  had  performed  poorly  was  nevertheless  subsequently  awarded  an  important contract.   4.4.2 Weaknesses The common area identified in the assessment in need of strengthening include the need to:     • Set  up  a  formal  appeals  process  for  applicants  who  have  their  bids  rejected  (indicator 42) in which a representative from the company can file a protest based  on  the  view  that  the  tender  excludes  them unfairly  or  the  tender process was  flawed.    ‐ In Malaysia, bidders do not have  the opportunity  to place an appeal  and  the  tender committeeʹs decision  is  final. However  it appears  that  early in the tender process, if the specifications of a particular product  are  found  to  be  ʺleaningʺ  towards  a  particular  brand,  at  that  stage  competitors have the right to complain and request the MoH to call for  a new tender with new specifications.   ‐ In  the  Philippines,  a  formal  appeals  mechanism  does  exist,  but  the  assessment  showed  that  no  bidders  have  used  it,  as  all  issues were  resolved during the bidding conference. Finding no evidence of its use,  this indicator was rated 0.   • Audits  of  procurement  offices  are  conducted  in  all  countries  but  the  related  indicator  scores  low  in  all  but  the  Philippines  (indicator  52).  This  is  mainly  because the specific criteria under review in this assessment are not met.   ‐ In the Lao Peopleʹs Democratic Republic, an annual audit is conducted  by  the  Ministry  of  Finance  (MoF),  but  there  were  contradictory  opinions  as  to  whether  the  results  are  published  and  whether  they  report  the  operating  costs  of  the procurement unit,  the  quantities  of  products and the beneficiaries.   ‐ In  Malaysia,  this  indicator  also  scores  poorly  as  annual  auditing  is  conducted by the Ministryʹs internal auditors and not by independent  auditors. The  audit  report  is presented  to Parliament  and  is open  to  scrutiny by its members.  ‐ In Thailand, although there is an annual audit, this indicator has a low  score as it does not cover all the criteria sought in the assessment.   Findings and discussions   17 ‐ In the Philippines, however, the indicator receives a high score as the  Commission on Audit (COA) conducts regular annual post‐audits for  all  Government  agencies,  including  the  DoH.  The  CoA  is  the  Philippinesʹ  Supreme  Audit  Institution,  and  its  independence  is  declared  in  the  Constitution.  The  annual  audit  report  includes  the  criteria being  sought by  the  assessment  and  is  available on  the CoA  web site: http//www.coa.gov.ph.  4.4.3 Variations • The existence and use of specific criteria for tender committee membership varies from  country to country (indicators 38 and 39).   ‐ In the Lao Peopleʹs Democratic Republic, there are no specific criteria,  but regulations dictate the membership by function and members are  nominated by the Ministry of Health. All members are reported to be  high‐level  officials,  such  as  the  director  of  cabinet  of  the  MoH,  the  director or deputy of the inspection department, the deputy director of  the  planning  and  budget  department,  etc.  NIs  reported  that  the  membership changes every two years on average.   ‐ In Malaysia, the MoH has assigned specialists from various fields and  pharmacists  from  public  health  facilities  as  members  of  the  tender  committee,  but  NIs  found  no  indication  of  the  length  of  service.  It  appeared  that some members have been on  the committee  for a  long  time.   ‐ In  the  Philippines,  based  on  the  Procurement  Act,  the  DoH  has  adopted  clear  guidelines  for  tender  committee  membership.  Its  chairman is a third ranking permanent official of the DoH, and the rest  of its members are at least fifth ranking officials. Members serve a one‐ year term, which can be renewed at the discretion of the agency.   ‐ In  Thailand,  no  written  document  was  available  at  the  time  of  the  assessment,  but  KIs  mentioned  that  selection  was  usually  based  on  functions  (e.g.  director,  pharmacist).  It  appears  that  membership  changes mainly because of movement of staff around Thailand.  • The management information system used to report product problems  in procurement  is different from country to country (indicator 45).  ‐ In the Lao Peopleʹs Democratic Republic, the management information  system is a manual one and appears to contain all the criteria assessed.  Measuring transparency in medicines registration, selection and procurement: Four country assessment studies  18 ‐ In Malaysia,  the  reporting of product problems and account‐keeping  are  left  to  the purchasing  hospitals  and  health  centres. KIs  reported  that  there  seem  to  be  no  product  records,  no  proper  monitoring  of  suppliers  and  facility performance,  and no quality  assurance  record.  KIs appeared to be were aware of these shortcomings.   ‐ In  the  Philippines,  it  was  reported  that  there  is  a  computerized  management information system tracking the various criteria covered  in  this assessment, but NIs  found  that  the system  is not  fully on‐line  and records are kept manually. However, when interviewing the KIs,  it  appeared  that  a  large majority were not  aware  of  such  a  tracking  system, leading to a poor score compared with other indicators.  ‐ In Thailand, the system is run by the Department of Medical Sciences  for reporting quality issues, and all information is available on its web  site at: http://www.dmsc.moph.go.th.  • Lot quality  testing, as part of procurement procedures,  is  carried out at varying  levels in the countries (indicator 46).  ‐ In  the  Lao  Peopleʹs  Democratic  Republic  and  the  Philippines,  pharmaceutical  products  purchased  are  physically  inspected  after  delivery.  In Laos, a  special  committee  examines  the  shipment before  making  the  payment.  In  the  Philippines,  the  physical  quality  and  quantity are checked. Not only are  the  terms of  the contract checked,  but the bio‐efficacy of the medicines delivered are also tested.   ‐ Malaysia and Thailand both score poorly with this indicator, as KIs felt  that lot quality testing is not standard practice.1                                                                1   However in Thailand, the Department of Medical Sciences routinely samples the problematic drugs for  quality testing. In addition, the hospitals draw samples for quality checking when they purchase from  new suppliers and whenever suspicions arise during product inspection.   Conclusions and recommendations for action   19 5. Conclusions and recommendations for action General If  a  country  wishes  to  have  medicines  regulation  and  procurement  systems  that  are  minimally  vulnerable  to  corrupt  practices,  certain  transparent  structural  and  process  arrangements  need  to  be  in  place.  The  assessment  methodology  presented  here  allows  countries to take stock of how transparent their operating structures and processes are, the  strengths each country can capitalize on, and the loopholes that may leave room for corrupt  practices and which need to be addressed.     Experience  in promoting good governance shows that efforts to address corruption require  two  basic  strategies,  a  ʺdiscipline  approachʺ  and  a  ʺvalues  approachʺ.  The  discipline  approach, based on  legislative  reforms, establishes  the  laws, administrative  structures and  processes needed to establish transparent medicines regulation and procurement systems. It  also defines the  legal sanctions to be applied for not complying with the  law. A  ʺdiscipline  approachʺ  is  therefore  by  nature  top‐down.  The  values  approach  promotes  institutional  integrity through promotion of moral values and ethical principles and attempts to motivate  ethical conduct by public servants. The values approach tends to be bottom‐up. It is essential  to keep  in mind that neither strategy  in  itself  is sufficient, and a coordinated application of  both is required for significant impact.     The  results  of  their  assessment  will  help  countries  in  applying  the  discipline  approach  described above. In the light of the findings, it is recommended that each country adjusts its  laws,  administrative  structures  and  procedures  in  terms  of  medicines  regulation  and  procurement. These changes will need to be discussed in the national workshop(s) when the  studies end. To date , all four countries have held at least one national workshop.     The national workshops serve both as a platform to establish the values approach, and more  concretely to initiate the process of developing a National Ethics Infrastructure that promotes  good governance in medicines regulation and procurement. A National Ethics Infrastructure  is a national policy document that establishes norms and values to guide the performance of  roles within an organization. Such policy documents need  to be developed  in consultation  with key stakeholders, such as ministry of health officials, the private pharmaceutical sector,  the  ministry  of  finance,  civil  society  organizations  (CSOs)  and  academia.  After  the  consultation process, it will need to be officially adopted by the relevant public institution.   Measuring transparency in medicines registration, selection and procurement: Four country assessment studies  20 Specific Promoting good governance in medicines regulation and procurement is still a new area of  work  for WHO. The  specific  recommendations  below  are  based  on  experience  gained  by  WHO while working with countries piloting  the Good Governance for Medicines in the Public  Sector project. They are also based on the lessons learnt by other organizations that have been  most active  in curbing corruption and promoting good governance during  the  last decade,  such as the World Bank, Transparency International and the Organisation for Economic Co‐ operation and Development.     1. Hold a national workshop with key national stakeholders to:  a) share  the  results  of  the  national  transparency  assessment  and  review  the  recommendations made by the national investigators  b) agree  the  main  elements  of  a  national  ethical  framework  aimed  at  promoting good governance for medicines regulation and procurement.   2. Publish  the  national  assessment  report  on  transparency  and  vulnerability  to  corruption, and ask for comments from key partners.   3. Revise  laws, administrative  structures and procedures based on  the  findings of  the  assessment  and  discussions  during  the  national  workshop,  to  ensure  transparent medicines registration, selection and procurement processes.   4. Develop  a  National  Ethics  Infrastructure  for  promoting  good  governance  in  medicines regulation and procurement  through a consultation process based on  consensus‐building. This can be based on WHOʹs model Ethics Infrastructure for  Good Governance  in  the Pharmaceutical Sector1 and will need  to be adapted  to  the specific needs and context of each country.   5. Officially  adopt  the  National  Ethics  Infrastructure,  giving  political  backing  to  government officials to take the actions necessary to promote good governance in  the pharmaceutical sector.   6. Develop an ethical framework and codes of conduct based on moral values and  ethical principles as measures to prevent unethical behaviour by public servants  in performing  their duties. The  codes of  conduct will  set out  the application of  ethical principles in concrete terms.   7. Socialize the national ethical framework and the codes of conduct. Socialization of  an ethical framework requires a process of systematic reflection and training — in  this  case,  of  government  officials  and  health  professionals.  Such  reflection  and  training  are  essential  to  generate  civil  servantsʹ  sense  of  ownership  of  and  personal  identification  with  an  ethical  framework.  These  in  turn  are  vital  to  creating  the  motivation  necessary  for  sustained  application  of  an  ethical  framework.                                                         1   WHO Ethics Infrastructure for Good Governance in the Pharmaceutical Sector. (In preparation).I  Conclusions and recommendations for action   21 8. Establish a whistle‐blowing protection mechanism. Such a mechanism will need  to  protect  the  whistle‐blower  from  victimization  and  retaliation  from  those  involved  in corrupt practices. At the same time  it should protect public servants  from  irresponsible  and  unethical  whistle‐blowing  that  could  damage  their  reputations and careers due to false allegations.   9. Nominate  a  working  group  that  will  be  responsible  for  coordinating  and  managing implementation of the Good Governance for Medicines in the Public Sector  project  at  national  level.  Additionally,  the  working  group  will  evaluate  the  programme on a regular basis. It is suggested that the transparency assessment is  undertaken every 2 years.     The  implementation  of  the  Good Governance  for Medicines  in  the  Public  Sector  project  is  a  process. Changes will not happen overnight, but experience has  shown  that  results  in  the  short term are possible. Furthermore, there is no magic, standard formula that can be applied  universally.  Each  country will  need  to  devise  a  strategy  according  to  its  own  needs  and  reality,  and  adjust  this  strategy  over  the  years  through  a  systematic  process  of  planning,  implementation and evaluation.   Measuring transparency in medicines registration, selection and procurement: Four country assessment studies  22       Annex 1: Questionnaire registration   23 Annex 1 - Questionnaire registration Date: _________________________________________________ Name: _________________________________________________ Position: _________________________________________________     #  Indicator  Criteria  Rate  Criteria    1  Does  the  drug  registration  process  have  an  information system?  Name of company registering the drug Contact of company registering the drug  Name of manufacturing company  Country of product manufacturing  Date of registration  Product description        Total        Score*            Criteria    2  Are  there  written  procedures  on  how  to  register  a  drug  in  the  market  for  applicants  and for assessors?  Public access Process description  Fees mentioned  Authorities involved in the registration process          Total        Score*            Criteria    3  Is there a standard application form?  Product name Product manufacturer  Generic names of active substances  Pharmacological action  Therapeutic classification  Packaging insert          Total        Score*            Criteria    4  Is this document publicly available and easy to  access?  Readily available at government office or website          Total        Score*                    Criteria    5  Is  there  a  formal  committee  responsible  for  drug  registration?    If  yes,  what  criteria  are  used for selecting committee members?  Formally established  Composed with professionals with technical skills  Meet on a regular basis          Total        Score*            Criteria    6  Is  there  an  organigram  that  describes  the  composition  of  the  committee  available  as  a  public document?  Member names Member responsibilities  Up to date  Public access        Total        Score*            * Score = Total/Number of criteria for respective indicator  Measuring transparency in medicines registration, selection and procurement: Four country assessment studies  24   * Score = Total/Number of criteria for respective indicator        #  Indicator  Criteria  Rate  Criteria    7  Is  the  committee  responsible  for  decision‐ making or does it act in an advisory capacity  Evidence that committee decisions are implemented          Total        Score*            8  Does the committee provide an official written  report  for  all  decisions  (e.g.  accepted  and  rejected files)  Criteria        Existence of rejection criteria for registration  Document explains reasons for rejection          Total        Score*            Criteria    9  Do terms of reference exist which describe the  purpose  of  the  committee,  its  processes,  duration,  etc.? And,  if  so,  are  these  available  publicly?  Existence of terms of reference  Terms of reference publicly available  Terms of reference comprehensive        Total        Score*            Criteria    10  How does the committee reach its decision (for  example,  is  a  qualified  majority  required,  consensus,  etc.?)  Are  these  procedures  documented?  Documented procedures for decision‐making         Total        Score*            Criteria    11  Are members  of  the  committee  or  any  other  officials  involved  in  the medicine  registration  process  formally  required  to  declare  any  conflict of interest  Existence of standard form for declaring conflict of  interest  Standard form publicly available          Total        Score*                    Criteria    12  Is there an appeals process for applicants who  have their drug applications rejected?  Formal appeal process in place which is transparent  Evidence protest mechanism is used        Total        Score*            Criteria    13  Have  there  been  drug  recalls  in  the  past  3  years?  Example of a drug recall with clear explanations  Evidence that information shared with professionals  and consumers  Evidence of clear procedures for drug recalls        Total        Score*            Criteria    14  Are  there  formalized  procedures  to  deal with  reporting of drug safety and efficacy?  Information administration procedures  Availability of information on side effects of  medicines          Total        Score*            Annex 1: Questionnaire registration   25   * Score = Total/Number of criteria for respective indicator       #  Indicator  Criteria  Rate  Criteria    15  Who does  the  committee  report  to  and  is  this  person  responsible for making the final decision?  Open and transparent procedures for  decision‐making  Democratic decision‐making          Total        Score*            Criteria    16  Is  the  registration  fee  set  by  law  or  regulation  and  publicly available?  Regulation or law includes registration fee  Fee information publicly accessible          Total        Score*            Criteria    17  Is  the  time  from  application  to  decision‐making  uniform from application to application?  Consistency in registration time across  sample of at least five          Total        Score*            Criteria    18  Are there drugs in the market that are non‐registered?  No evidence of non‐registered drugs on the  market           Total        Score*                Total score for registration    Measuring transparency in medicines registration, selection and procurement: Four country assessment studies  26       Annex 2: Questionnaire selection   27 Annex 2 - Questionnaire selection Date: _________________________________________________ Name: _________________________________________________ Position: _________________________________________________ * Score = Total/Number of criteria for respective indicator   #  Indicator  Criteria  Rate  Criteria    19  Does  the government have  a national  essential medicines  list?  Evidence of a national essential medicines  list        Total        Score*            Criteria    20  Is  the  essential medicines  list  in  line  with WHO  EML  model?  Officially adopted, published and  disseminated  By generic name  By level of health care  Linked to national standard treatment  guidelines  Evidence that widely disseminated to  health professionals      Total        Score*            Criteria    21  Is there evidence of clear written criteria for including and  eliminating drugs from the EML?  Rules/criteria for drug inclusion or  elimination  Criteria available in written format in the  public domain        Total        Score*            Criteria    22  Is  the  inclusion  of  new  products  on  the  EML  based  on  studies of cost‐effectiveness and health needs?  Clear guidelines on the inclusion of new  drugs based on cost effectiveness   Clear guidelines on the inclusion of new  drugs based on health needs          Total        Score*            23  Is committee membership on the drug selection committee  on a rotating basis or limited in time?  Criteria        Limited or rotating membership  Terms of membership are in the public  domain        Total        Score*            Criteria    24  Are the decisions made by the selection committee publicly  disseminated?  Decisions on selection process publicly  available  Decisions widely disseminated        Total        Score*            Criteria    25  Are generic medicines  selected  for  the EML  except  in  the  cases when a generic substitute is not available?  Use of generic medicines primarily unless  there is no generic substitute        Total        Score*            Measuring transparency in medicines registration, selection and procurement: Four country assessment studies  28 * Score = Total/Number of criteria for respective indicator             #  Indicator  Criteria  Rate  Criteria    26  Do terms of reference exist which describe the purpose  of the selection committee, its processes, duration, etc.?  And, if so, are these available publicly?  Existence of TOR for selection committee  TOR publicly available        Total        Score*            Criteria    27  Are there clear criteria for committee membership?  Clear criteria for committee membership  Committee includes experts from different  fields   Publicly available through government office  or website        Total        Score*            Criteria    28  Are  there  clear  rules  for  decision‐making  for  the  committee decisions?  Decisions made by all members in a  democratic manner  Clear rules for decision‐making        Total        Score*                    Criteria    29  Is there a law or regulation prohibiting members of the  drug  selection  committee  from  accepting  support  in  kind or in cash from pharmaceutical companies?  Existence of laws or regulations        Total        Score*            Criteria    30  Is  there a  ʺconflict of    interestʺ  form  that members of  the  selection  committee  are  obliged  to  complete?   Are  there clear sanctions for breach of these regulations?  Existence of declaration of conflict of interest  form  Clear and comprehensible sanctions   Evidence of enforcements of these  regulations        Total        Score*            Criteria    31  Has  any  committee member worked  in  the  past  or  is  now working for the pharmaceutical industry?  No evidence of a member having  connections to the pharmaceutical industry        Total        Score*            Criteria    32  Is  there  an  independent  drug  agency  that  provides  unbiased information?  Independent drug information agency   Supplies information regularly        Total        Score*                Total score for selection    Annex 3: Questionnaire procurement   29 Annex 3 - Questionnaire procurement   * Score = Total/Number of criteria for respective indicator       #  Indicator  Criteria  Rate  Criteria    33  Are  there  competitive procedures  for  the procurement  of  pharmaceutical products?  Clearly established competitive procedures for  procurement of drugs          Total        Score*            Criteria    34  Does  the  government  use  written  procedures  (prepared  within the previous 5 years) for drug procurement?  Clear written procedures  Up to date (revised in the last 5 years)        Total        Score*            Criteria    35  Are these written procedures publicly available?  Accessible through government office or  website  Dissemination of procedures to entities of  interest        Total        Score*            Criteria    36  Is there a clear algorithm, based on utilization of services  and  health  needs  to  determine  quantity  and  type  of  pharmaceuticals purchased?  Based on consumption historical data  Based on adjusted consumption  Based on morbidity  Based on service level projection        Total        Score*            Criteria    37  Is  drug  procurement  based  on  the  national  essential  medicines list or hospital formularies?  Procured drugs are consistent with essential list  and/or hospital formulary  Existence of documents demonstrating the  above        Total        Score*            Criteria    38  Are  there  specific  criteria  for  tender  committee  membership?  Clear guidelines for committee membership  Membership criteria based on merit and effort        Total        Score*            Criteria    39  Is the membership permanent?  Clear written procedures for tenure of  membership  Changes on a regular basis        Total        Score*    Measuring transparency in medicines registration, selection and procurement: Four country assessment studies  30    * Score = Total/Number of criteria for respective indicator   #  Indicator  Criteria  Rate    Criteria   40  Are  the  contract  specifications  publicly  available  and  distributed with the tender documents?  Clear written criteria for presenting a bid  Criteria are always included in all tender  documents        Total        Score*            Criteria   41  Are  tenders  for  pharmaceuticals  publicized  in  newspapers, gazettes, trade publications or other means?  Evidence of regularly publicized tenders        Total        Score*            Criteria    42  Is there a formal appeal process?  Evidence of enforcement           Total        Score*            Criteria    43  Is supplier performance monitored at least annually?  Records of monitoring of supplier performance  Records of monitoring of supplierʹs compliance  with contract terms        Total        Score*            Criteria    44  Is  the  information obtained  from  the monitoring used  to  influence future procurement decisions?  Government has list of past suppliers  Government has evaluation of supplier  performance  Information used to influence future decision        Total        Score*            Criteria    45  Is there a management information system used to report  product problems in procurement?  System is clear and up to date Contains product records  Contains monitoring of supplier and facility  performance  Contains quality assurance records  Contains accounts receivable and payable        Total        Score*            Criteria    46  Is lot quality tested as part of the procurement procedure?  Medicines shipments physically inspected  Systematic  procedure  to  sample  drug  shipments        Total        Score*            Criteria    47  Is there a clear procedure to ensure that payment is linked  to drug delivery?  Records of each order placed and amounts due  Dates of payments  List of all purchase receipts        Total        Score*    Annex 3: Questionnaire procurement   31   * Score = Total/Number of criteria for respective indicator           #  Indicator  Criteria  Rate  Criteria    48  Are  unit  prices  paid  for  public  procurement  of  pharmaceuticals  below  the  unit  price  in  the  private  sector?  The majority of the unit prices for publicly  procured drugs are below the prices in the  private sector        Total        Score*          Criteria    49  Are  the  drug  procurement  prices  made  publicly  available?  List is publicly available List contains type of drug, quantity purchased,  and price paid  List is continuously updated        Total        Score*            Criteria   50  Is the procurement conducted using generic names?  Use of generic names        Total        Score*            Criteria    51  Is  the  average  duration  from  issuing  of  tender  to  delivery of drugs less than 1 year?  Delivery average less than 1 year          Total        Score*            Criteria    52  Does the procurement unit have an annual audit with  published results?  Annual and published  Conducted by an independent auditing firm  Reports operating costs of procurement unit  Report pharmaceutical products tendered  Reports quantities of products  Reports beneficiaries        Total        Score*            Criteria    53  Are the criteria for adjudication of the tenders included  as part of the tender package?  Clear criteria Criteria is publicly available  Criteria is included as part of the tender  package        Total        Score*                    Criteria    54  In the past three years, is the share of drugs purchased  through  competitive  bidding  over  80  percent  of  the  total pharmaceutical expenditure?  Over 80%        Total        Score*                Total score for procurement    More than US$ 3 trillion is spent on health services each year. Such substantial funds are an obvious target for abuse. Transparency International estimates that, on average, 10 to 25% of public procure- ment spending, including that in the health sector, is lost to corruption. Resources that could other- wise be used to buy medicines or recruit much-needed health professionals are wasted as a result of corruption, which reduces the availability of essential medicines and can cause prolonged illness and even deaths. In response to this serious problem, WHO launched the Good Governance for Medicines project in late 2004. The project’s overall goal is to raise awareness of the potential for corruption in the public phar- maceutical sector, and to minimize such corruption by promoting and implementing good governance measures within that sector. Its ultimate aim is to help to ensure that essential medicines achieve maximum impact in terms of improving people’s health and well-being. The countries implementing the Good Governance for Medicines project initially conduct an assess- ment measuring the transparency of national medicines regulatory agencies and public procurement systems. This report summarizes the findings of the transparency assessments in the first four coun- tries to participate in the project, the Lao People’s Democratic Republic, Malaysia, the Philippines and Thailand. It provides an insight into the level of transparency and potential vulnerability to corruption in three essential functions of the public pharmaceutical sector, registration, selection and procurement of medicines. WHO recognizes that corruption is an immense and complex problem, and one that is difficult to tackle. However, the project is growing and helping to increase momentum, as more and more public health colleagues in ministries of health and national medicines regulatory authorities become interested in working on this challenging topic. << /ASCII85EncodePages false /AllowTransparency false /AutoPositionEPSFiles true /AutoRotatePages /All /Binding /Left /CalGrayProfile (Dot Gain 20%) /CalRGBProfile (sRGB IEC61966-2.1) /CalCMYKProfile (U.S. Web Coated \050SWOP\051 v2) /sRGBProfile (sRGB IEC61966-2.1) /CannotEmbedFontPolicy /Warning /CompatibilityLevel 1.4 /CompressObjects /Tags /CompressPages true /ConvertImagesToIndexed true /PassThroughJPEGImages true /CreateJDFFile false /CreateJobTicket false /DefaultRenderingIntent /Default /DetectBlends true /ColorConversionStrategy /LeaveColorUnchanged /DoThumbnails false /EmbedAllFonts true /EmbedJobOptions true /DSCReportingLevel 0 /EmitDSCWarnings false /EndPage -1 /ImageMemory 1048576 /LockDistillerParams false /MaxSubsetPct 100 /Optimize true /OPM 1 /ParseDSCComments true /ParseDSCCommentsForDocInfo true /PreserveCopyPage true /PreserveEPSInfo true /PreserveHalftoneInfo false /PreserveOPIComments false /PreserveOverprintSettings true /StartPage 1 /SubsetFonts true /TransferFunctionInfo /Apply /UCRandBGInfo /Preserve /UsePrologue false /ColorSettingsFile () /AlwaysEmbed [ true ] /NeverEmbed [ true ] /AntiAliasColorImages false /DownsampleColorImages true /ColorImageDownsampleType /Bicubic /ColorImageResolution 300 /ColorImageDepth -1 /ColorImageDownsampleThreshold 1.50000 /EncodeColorImages true /ColorImageFilter /DCTEncode /AutoFilterColorImages true /ColorImageAutoFilterStrategy /JPEG /ColorACSImageDict << /QFactor 0.15 /HSamples [1 1 1 1] /VSamples [1 1 1 1] >> /ColorImageDict << /QFactor 0.15 /HSamples [1 1 1 1] /VSamples [1 1 1 1] >> /JPEG2000ColorACSImageDict << /TileWidth 256 /TileHeight 256 /Quality 30 >> /JPEG2000ColorImageDict << /TileWidth 256 /TileHeight 256 /Quality 30 >> /AntiAliasGrayImages false /DownsampleGrayImages true /GrayImageDownsampleType /Bicubic /GrayImageResolution 300 /GrayImageDepth -1 /GrayImageDownsampleThreshold 1.50000 /EncodeGrayImages true /GrayImageFilter /DCTEncode /AutoFilterGrayImages true /GrayImageAutoFilterStrategy /JPEG /GrayACSImageDict << /QFactor 0.15 /HSamples [1 1 1 1] /VSamples [1 1 1 1] >> /GrayImageDict << /QFactor 0.15 /HSamples [1 1 1 1] /VSamples [1 1 1 1] >> /JPEG2000GrayACSImageDict << /TileWidth 256 /TileHeight 256 /Quality 30 >> /JPEG2000GrayImageDict << /TileWidth 256 /TileHeight 256 /Quality 30 >> /AntiAliasMonoImages false /DownsampleMonoImages true /MonoImageDownsampleType /Bicubic /MonoImageResolution 1200 /MonoImageDepth -1 /MonoImageDownsampleThreshold 1.50000 /EncodeMonoImages true /MonoImageFilter /CCITTFaxEncode /MonoImageDict << /K -1 >> /AllowPSXObjects false /PDFX1aCheck false /PDFX3Check false /PDFXCompliantPDFOnly false /PDFXNoTrimBoxError true /PDFXTrimBoxToMediaBoxOffset [ 0.00000 0.00000 0.00000 0.00000 ] /PDFXSetBleedBoxToMediaBox true /PDFXBleedBoxToTrimBoxOffset [ 0.00000 0.00000 0.00000 0.00000 ] /PDFXOutputIntentProfile () /PDFXOutputCondition () /PDFXRegistryName (http://www.color.org) /PDFXTrapped /Unknown /Description << /FRA <FEFF004f007000740069006f006e00730020007000650072006d0065007400740061006e007400200064006500200063007200e900650072002000640065007300200064006f00630075006d0065006e00740073002000500044004600200064006f007400e900730020006400270075006e00650020007200e90073006f006c007500740069006f006e002000e9006c0065007600e9006500200070006f0075007200200075006e00650020007100750061006c0069007400e90020006400270069006d007000720065007300730069006f006e00200061006d00e9006c0069006f007200e90065002e00200049006c002000650073007400200070006f0073007300690062006c0065002000640027006f00750076007200690072002000630065007300200064006f00630075006d0065006e007400730020005000440046002000640061006e00730020004100630072006f0062006100740020006500740020005200650061006400650072002c002000760065007200730069006f006e002000200035002e00300020006f007500200075006c007400e9007200690065007500720065002e> /JPN <FEFF3053306e8a2d5b9a306f30019ad889e350cf5ea6753b50cf3092542b308000200050004400460020658766f830924f5c62103059308b3068304d306b4f7f75283057307e30593002537052376642306e753b8cea3092670059279650306b4fdd306430533068304c3067304d307e305930023053306e8a2d5b9a30674f5c62103057305f00200050004400460020658766f8306f0020004100630072006f0062006100740020304a30883073002000520065006100640065007200200035002e003000204ee5964d30678868793a3067304d307e30593002> /DEU <FEFF00560065007200770065006e00640065006e0020005300690065002000640069006500730065002000450069006e007300740065006c006c0075006e00670065006e0020007a0075006d002000450072007300740065006c006c0065006e00200076006f006e0020005000440046002d0044006f006b0075006d0065006e00740065006e0020006d00690074002000650069006e006500720020006800f60068006500720065006e002000420069006c0064006100750066006c00f600730075006e0067002c00200075006d002000650069006e0065002000760065007200620065007300730065007200740065002000420069006c0064007100750061006c0069007400e400740020007a0075002000650072007a00690065006c0065006e002e00200044006900650020005000440046002d0044006f006b0075006d0065006e007400650020006b00f6006e006e0065006e0020006d006900740020004100630072006f0062006100740020006f0064006500720020006d00690074002000640065006d002000520065006100640065007200200035002e003000200075006e00640020006800f600680065007200200067006500f600660066006e00650074002000770065007200640065006e002e> /PTB <FEFF005500740069006c0069007a006500200065007300740061007300200063006f006e00660069006700750072006100e700f5006500730020007000610072006100200063007200690061007200200064006f00630075006d0065006e0074006f0073002000500044004600200063006f006d00200075006d00610020007200650073006f006c007500e700e3006f00200064006500200069006d006100670065006d0020007300750070006500720069006f0072002000700061007200610020006f006200740065007200200075006d00610020007100750061006c0069006400610064006500200064006500200069006d0070007200650073007300e3006f0020006d0065006c0068006f0072002e0020004f007300200064006f00630075006d0065006e0074006f0073002000500044004600200070006f00640065006d0020007300650072002000610062006500720074006f007300200063006f006d0020006f0020004100630072006f006200610074002c002000520065006100640065007200200035002e0030002000650020007300750070006500720069006f0072002e> /DAN <FEFF004200720075006700200064006900730073006500200069006e0064007300740069006c006c0069006e006700650072002000740069006c0020006100740020006f0070007200650074007400650020005000440046002d0064006f006b0075006d0065006e0074006500720020006d006500640020006800f8006a006500720065002000620069006c006c00650064006f0070006c00f80073006e0069006e006700200066006f00720020006100740020006600e50020006200650064007200650020007500640073006b00720069006600740073006b00760061006c0069007400650074002e0020005000440046002d0064006f006b0075006d0065006e0074006500720020006b0061006e002000e50062006e006500730020006d006500640020004100630072006f0062006100740020006f0067002000520065006100640065007200200035002e00300020006f00670020006e0079006500720065002e> /NLD <FEFF004700650062007200750069006b002000640065007a006500200069006e007300740065006c006c0069006e00670065006e0020006f006d0020005000440046002d0064006f00630075006d0065006e00740065006e0020007400650020006d0061006b0065006e0020006d00650074002000650065006e00200068006f0067006500720065002000610066006200650065006c00640069006e00670073007200650073006f006c007500740069006500200076006f006f0072002000650065006e0020006200650074006500720065002000610066006400720075006b006b00770061006c00690074006500690074002e0020004400650020005000440046002d0064006f00630075006d0065006e00740065006e0020006b0075006e006e0065006e00200077006f007200640065006e002000670065006f00700065006e00640020006d006500740020004100630072006f00620061007400200065006e002000520065006100640065007200200035002e003000200065006e00200068006f006700650072002e> /ESP <FEFF0055007300650020006500730074006100730020006f007000630069006f006e006500730020007000610072006100200063007200650061007200200064006f00630075006d0065006e0074006f0073002000500044004600200063006f006e0020006d00610079006f00720020007200650073006f006c00750063006900f3006e00200064006500200069006d006100670065006e00200070006100720061002000610075006d0065006e0074006100720020006c0061002000630061006c006900640061006400200061006c00200069006d007000720069006d00690072002e0020004c006f007300200064006f00630075006d0065006e0074006f00730020005000440046002000730065002000700075006500640065006e00200061006200720069007200200063006f006e0020004100630072006f00620061007400200079002000520065006100640065007200200035002e003000200079002000760065007200730069006f006e0065007300200070006f00730074006500720069006f007200650073002e> /SUO <FEFF004e00e4006900640065006e002000610073006500740075007300740065006e0020006100760075006c006c006100200076006f0069006400610061006e0020006c0075006f006400610020005000440046002d0061007300690061006b00690072006a006f006a0061002c0020006a006f006900640065006e002000740075006c006f0073007400750073006c00610061007400750020006f006e0020006b006f0072006b006500610020006a00610020006b007500760061006e0020007400610072006b006b007500750073002000730075007500720069002e0020005000440046002d0061007300690061006b00690072006a0061007400200076006f0069006400610061006e0020006100760061007400610020004100630072006f006200610074002d0020006a00610020004100630072006f006200610074002000520065006100640065007200200035002e00300020002d006f0068006a0065006c006d0061006c006c0061002000740061006900200075007500640065006d006d0061006c006c0061002000760065007200730069006f006c006c0061002e> /ITA <FEFF00550073006100720065002000710075006500730074006500200069006d0070006f007300740061007a0069006f006e00690020007000650072002000630072006500610072006500200064006f00630075006d0065006e00740069002000500044004600200063006f006e00200075006e00610020007200690073006f006c0075007a0069006f006e00650020006d0061006700670069006f00720065002000700065007200200075006e00610020007100750061006c0069007400e00020006400690020007300740061006d007000610020006d00690067006c0069006f00720065002e0020004900200064006f00630075006d0065006e00740069002000500044004600200070006f00730073006f006e006f0020006500730073006500720065002000610070006500720074006900200063006f006e0020004100630072006f00620061007400200065002000520065006100640065007200200035002e003000200065002000760065007200730069006f006e006900200073007500630063006500730073006900760065002e> /NOR <FEFF004200720075006b00200064006900730073006500200069006e006e007300740069006c006c0069006e00670065006e0065002000740069006c002000e50020006f00700070007200650074007400650020005000440046002d0064006f006b0075006d0065006e0074006500720020006d006500640020006800f80079006500720065002000620069006c00640065006f00700070006c00f80073006e0069006e006700200066006f00720020006200650064007200650020007500740073006b00720069006600740073006b00760061006c0069007400650074002e0020005000440046002d0064006f006b0075006d0065006e00740065006e00650020006b0061006e002000e50070006e006500730020006d006500640020004100630072006f0062006100740020006f0067002000520065006100640065007200200035002e00300020006f0067002000730065006e006500720065002e> /SVE <FEFF0041006e007600e4006e00640020006400650020006800e4007200200069006e0073007400e4006c006c006e0069006e006700610072006e00610020006e00e40072002000640075002000760069006c006c00200073006b0061007000610020005000440046002d0064006f006b0075006d0065006e00740020006d006500640020006800f6006700720065002000620069006c0064007500700070006c00f60073006e0069006e00670020006f006300680020006400e40072006d006500640020006600e50020006200e400740074007200650020007500740073006b00720069006600740073006b00760061006c0069007400650074002e0020005000440046002d0064006f006b0075006d0065006e00740065006e0020006b0061006e002000f600700070006e006100730020006d006500640020004100630072006f0062006100740020006f00630068002000520065006100640065007200200035002e003000200065006c006c00650072002000730065006e006100720065002e> /ENU <FEFF005500730065002000740068006500730065002000730065007400740069006e0067007300200074006f0020006300720065006100740065002000500044004600200064006f00630075006d0065006e0074007300200077006900740068002000680069006700680065007200200069006d0061006700650020007200650073006f006c007500740069006f006e00200066006f007200200069006d00700072006f0076006500640020007000720069006e00740069006e00670020007100750061006c006900740079002e0020005400680065002000500044004600200064006f00630075006d0065006e00740073002000630061006e0020006200650020006f00700065006e00650064002000770069007400680020004100630072006f00620061007400200061006e0064002000520065006100640065007200200035002e003000200061006e00640020006c0061007400650072002e> >> >> setdistillerparams << /HWResolution [2400 2400] /PageSize [612.000 792.000] >> setpagedevice

View the publication