Оценка эффективности программ профилактики потребления психоактивных веществ

Корчагина Г.А., Фадеева Е.В. (Москва, Российская Федерация)

  English version  

Корчагина Галина Александровна –  доктор медицинских наук, профессор, заместитель директора; «Научно-исследовательский институт наркологии», филиал ФГБУ «Федеральный медицинский исследовательский центр психиатрии и наркологии им. В.П. Сербского» Минздрава России, Малый Могильцевский пер., 3, Москва, 119002, Российская Федерация. Тел.: 8-499-241-06-03. E-mail: nrcakorch@mail.ru

Фадеева Евгения Владимировна –  кандидат психологических наук, заведующая отделением профилактики употребления ПАВ среди лиц молодого возраста, «Научно-исследовательский институт наркологии», филиал ФГБУ «Федеральный медицинский исследовательский центр психиатрии и наркологии им. В.П. Сербского» Минздрава России, Малый Могильцевский пер., 3, Москва, 119002, Российская Федерация. Тел.: 8-499-241-06-03. E-mail: nscnfadeeva@mail.ru

Аннотация

Необходимым составным компонентом эффективной национальной системы профилактики потребления психоактивных веществ (ПАВ), реализуемой в учреждениях здравоохранения, образования и прочих организациях, включая религиозные и неправительственные, является система оценки превентивных вмешательств. Необходимо тщательно оценивать полезность и, по мере возможности, экономическую эффективность реализуемых профилактических программ. Поскольку достаточно сложно оценить эффективность профилактических программ, реализуемых с различными возрастными категориями, учесть взаимодействие всех факторов, обуславливающих уязвимость соответствующих возрастных категорий к злоупотреблению психоактивными веществами (ПАВ), а также степень охвата возможных индивидуальных рисков, необходимы стандартные методологические подходы и четкие критерии оценки. Общие методологические принципы и подходы, опирающиеся на анализ научной и правовой информации, создаются на основе приоритетности социальных эффектов, комплексного подхода, сопоставимости результатов и обязательного учета и анализа затрат на проведение и реализацию программ профилактики потребления ПАВ. Зачастую соблюдение методологических принципов может быть затруднено из-за отсутствия достаточного количества финансовых и человеческих ресурсов, однако для повышения эффективности реализации и внедрения программ профилактики необходимо стремиться к соблюдению стандартных, единообразных и научно обоснованных критериев к оценке. В итоге результаты оценки позволят разработчикам программ понять, к каким последствиям приводят предлагаемые ими методы и подходы к профилактике потребления ПАВ среди различных групп населения и расширять базу знаний о профилактических вмешательствах.

В данной статье рассматриваются вопросы внедрения системных и научно-обоснованных методов оценки эффективности профилактических мероприятий, направленных на снижение потребления психоактивных веществ (ПАВ). Вопросы внедрения и реализации системы оценки имеют немалое значение в связи с большим научным и практическим опытом, накопленным как в России, так и в зарубежных странах. В статье делается акцент на общих методологических принципах и подходах, видах и этапах оценки эффективности профилактических мероприятий.

Ключевые слова: программы профилактики употребления ПАВ; оценка эффективности программ профилактики потребления ПАВ; виды оценки.

Ссылка для цитирования размещена в конце публикации.

Для успешной реализации программ профилактики употребления психоактивных веществ (ПАВ) необходимо внедрить систему углубленной и независимой оценки. Реальность объективной оценки профилактических вмешательств в изначальном виде предстает как набор разнородных фактов, отражающих различные события и явления, в которых трудно увидеть какие-либо закономерности. Достаточно сложно проанализировать их во всем многообразии и внутреннем единстве, выбрать в них существенное и выявить прогностические тенденции. В обзорах по исследованию первичной профилактики отмечается, что большая часть такой деятельности формально не оценивается, поскольку практически невозможно сделать заключение об ее эффективности. Отсутствие единых методологических принципов и подходов к оценке эффективности не позволяет сравнивать различные программы и полноценно использовать ресурсы их распространения.

Международные стандарты профилактики действуют и регулярно обновляются в Европе, в Канаде и других странах [15; 16; 29]. Международные стандарты профилактики потребления наркотиков [9; 21], принятые в Управлении Организации Объединенных Наций по наркотикам и преступности (УНП ООН) в 2013 году, дают методологическое обоснование по вопросам сохранения здоровья и формирования здорового образа жизни детей, подростков и взрослого населения, содержат информацию о профилактике здорового и безопасного развития детей, возможностях предотвращения наркомании и токсикомании, эффективных профилактических программах для различных категорий населения (детей, подростков, взрослого населения, беременных женщин). Международные стандарты профилактики содержат структурированную информацию по созданию национальной системы профилактики потребления табака, алкоголя и наркотиков, базирующуюся на принципах доказательной медицины, в основе которой лежит проверка эффективности и безопасности методик диагностики, профилактики и лечения в клинических исследованиях. Одним из основополагающих критериев внедрения и реализации стандартов системной профилактики потребления ПАВ является оценка и качественный анализ эффективности проводимых мероприятий [1; 9; 11; 21]. Профилактические программы, успешно реализуемые в западных странах, в подавляющем большинстве случаев их использования в российских условиях оказываются совершенно неэффективными [22; 24; 26]. В связи с этим теоретические модели западных профилактических программ должны быть дополнены данными отечественных эмпирических исследований [5; 12; 13; 20; 27].

Ключевыми аспектами формирования эффективных основ первичной профилактики потребления ПАВ являются:

–   единая нормативно-правовая база, определяющая законодательные нормы проведения данных программ;

–   единая концепция превентивных программ, опирающаяся на отечественные и зарубежные научно-обоснованные методы профилактической помощи;

–   успешно действующие программы мониторинга, позволяющие обозначить реальные масштабы ситуации с употреблением ПАВ среди различных категорий населения;

–   единая система оценки действующих профилактических программ, позволяющая оценить эффективность их функционирования в различные промежутки времени.

В 2010 году в Европейском мониторинговом центре по наркотикам и наркомании (European Monitoring Centre for Drugs and Drug Addiction — EMCDDA) были опубликованы «Руководящие принципы оценки эффективности профилактических программ», содержащие современное обобщение практического опыта и дополнительные теоретические наработки. По определению, принятому в EMCDDA, оценка профилактических программ — это систематический и научный сбор данных, связанных с внедрением программы (проекта), их обработка и анализ с целью определить эффективность и действенность программы [16].

Для того чтобы провести оценку эффективности программ профилактики, необходимо выбрать общие методологические принципы и подходы, базирующиеся на анализе научной и правовой информации и учитывающие следующие факторы:

–   понимание риска в двояком смысле, который включает в себя как элемент вероятности то, что некоторые события (потребление определенного вида ПАВ) могут произойти, и степень серьезности такого вреда (как правило, определяемого как «опасность»);

–   распространенность использования ПАВ среди дифференцированных групп населения (группы-мишени), включая оценку риска распространенности новых ПАВ;

–   методологическое обоснование полученных и имеющихся данных. С методологической точки зрения, доказательства эффективности реализации профилактических программ получают после соблюдения более или менее строгих научных процедур;

–   источники имеющихся данных. Процедура оценки эффективности профилактических программ должна включать в себя стратегию использования данных из источников различного качества (от рецензируемых публикаций в крупных научных журналах, официальных докладов в международных организациях и государственных учреждений до данных, собранных волонтерами молодежных движений) [2; 7; 10; 17].

Оценка эффективности вызывает определенные трудности, поскольку изменения динамических характеристик употребления ПАВ, происходящие на протяжении многих лет, не позволяют сделать это однозначно. Методология, необходимая для анализа этих сложных вопросов, часто бывает недоступна из-за отсутствия достаточного количества финансовых и человеческих ресурсов. Оценка должна также включать анализ потребностей в том или ином виде вмешательства, результативность самого проекта и планируемых действий, кроме того, анализ качества реализации проекта. При проведении оценки эффективности могут применяться методы как количественного, так и качественного анализа, оценка экономической эффективности программ, изучаться возникающие трудности и проблемы [19; 23].

Выделяют следующие виды оценок: оценка планирования программы, оценка реализации проекта, оценка результатов. Эффективность любого мероприятия, проекта, программы определяется тем, насколько правильно все было спланировано, были ли учтены все обстоятельства и факторы, которые могут повлиять на результат. Отсюда вытекает необходимость оценки планирования программы на стадии ее разработки, когда определены цели и задачи, целевые группы, выбраны методы реализации намеченных задач. Оценка планирования программы отражает процесс определения проблемы, необходимые вмешательства, целевые группы населения и цели программы, помимо этого оценка планирования программы включает оценку ресурсов. Оценка планирования программы может проводиться как специалистом извне, так и человеком, участвующим в проекте. Источниками получения информации могут быть литературные данные, данные специальных научных исследований, данные, полученные через интервьюирование сотрудников, письменные отчеты о проведенной на данном этапе работе. Оценка этапа планирования профилактической программы позволит определить, какова ситуация с распространением потребления ПАВ, в чем заключаются основные проблемы, почему, для чего и что в связи с этим планируется предпринять, правильно ли определены цели и целевые группы, как будет реализовываться проект, каких ресурсов потребует. Этап оценки на стадии реализации проекта представляется наиболее трудоемким и сложным, исключение его или некачественное проведение не позволит в достаточно полной мере оценить эффективность той или иной профилактической программы, ее влияние на различных участников. Этот этап включает в себя исследование аудитории и предварительную экспертизу программы, оценку потребностей и социальный маркетинг для характеристики участников программы, какими методами будет проводиться оценка (качественными или количественными), какие инструменты и документы будут использоваться (интервью, опросники и т.д.), где, когда и как часто будет собираться информация по реализации проекта, кто будет обеспечивать сбор необходимой информации для оценки эффективности реализации проекта, как эти данные будут анализироваться. По завершении этого этапа должно быть ясно, как будет измерен процесс реализации проекта, что произошло в процессе реализации, как много людей вовлечено в программу, как много целевых групп и насколько хорошо прошла эта программа. Важным моментом в оценке является сопоставление планируемых мероприятий с тем, что получилось в реальной жизни. Последним, завершающим этапом в оценке эффективности профилактических программ является этап оценки результатов реализации программы. Суммарная или итоговая оценка эффективности профилактической программ необходима для того, чтобы определить, достигнуты ли конечные цели, а также затраты на их достижение и эффективность примененных методов.

Оценка результатов адресуется общей задаче программы, изменениям в познаниях, отношении и поведении, а также поддержанию изменений. Всесторонняя итоговая оценка может быть направлена как на немедленные, так и на отдаленные по времени эффекты, и может анализировать как предусмотренные, так и непредусмотренные эффекты, а также отсутствие эффектов [6; 7; 10; 19].

Для объективной оценки следует определить, что может быть результатом профилактической программы. Необходимо иметь ввиду, что программы профилактики создают эффекты первого, второго и третьего порядка, каждый из которых может рассматриваться как результат [3; 4; 30]. При оценке программ внимание чаще всего обращается на эффекты первого порядка (частично потому, что их легче документировать). К ним относят оценку мероприятий, выполняемых непосредственно исполнителями программы. Например, эффектом первого порядка профилактической программы может быть рост количества ее участников, что предполагает позитивное восприятие данной программы или повышение степени включенности участников в проводимые мероприятия. Оценка эффектов второго порядка рассматривает влияние, оказанное программой, т.е. изменилось ли что-нибудь в знаниях, отношении, поведении тех, кто участвовал в программе. К эффектам третьего порядка относят: изменение подходов к решению проблемы в сообществе, продвижение к решению проблемы и т.д. [8].

В заключение можно сказать, что оценка является научно-исследовательским методом, который определяет уровень эффективности стратегии вмешательства, учитывает влияние факторов риска, ограничивающих проведение профилактических программ, а также экономические затраты на достижение применяемых методов. Использование единых общих положений, видов оценки эффективности профилактических программ, позволит объединить имеющийся российский опыт в данной отрасли и достичь наилучших результатов, отобрав наиболее эффективные программы и обосновав закрытие программ, не дающих эффекта.

Литература

1.   Автономов А.С., Хананашвили Н.Л. Оценка в социальном проектировании. Методическое пособие / под общ. ред. А.С. Автономова. – М.: Национальная Ассоциация благотворительных организаций, 2010. – 150 с.

2.   Бейквел О. Совершенствуя процесс развития. Практическое пособие по мониторингу и оценке // INTRAC, 2004.

3.   Беркалиев Т.Н. Сущность проблемы мониторинга при распространении результатов проектов в образовании // Обоснование принципов распространения опыта реализации итогов проектов в образовательных системах разного уровня с учетом социогеографических особенностей региона: депониров. отчет о научно-исследовательской работе за 2002 per. номер 07 003 2684 СПБГУ. Итоговый отчет по государственному контракту № 439 от 18.06. – М., 2002.

4.   Беркалиев Т.Н. Профилактика наркомании в территориальной системе общего образования: дис. … канд. пед. наук. – СПб., 2003. – 232 c.

5.   Валюшицкая И.В. Путеводитель по оценке программ. – Красноярск: Красноярская региональная молодежная общественная организация Центр «Сотрудничество на местном уровне», 2005 [Электронный ресурс]. – URL: http://www.kccp.ru/lib/putevoditel_po_otsenke.zip

6.   Власов В.В., Реброва О.Ю. Доказательная медицина: формулировка актуального клинического вопроса, иерархия доказательств, источники информации // Заместитель главного врача: лечебная работа и медицинская экспертиза. – 2010. – № 1.

7.   Гусева Е.Г. Мониторинг и оценка проектов / автор. коллектив серии: Е.Г. Гусева, Ю.С. Крылова, А.Ю. Москвина [и др.]. – СПб.: ЦРНО, 2014.

8.   Дышычев Р.Д. Педагогические условия профилактики употребления психоактивных веществ младшими школьниками: дис. … канд. пед. наук. – Майкоп, 2004. – 201 с.

9.   Международные стандарты по профилактике употребления наркотиков. – УПН ООН, 2013 [Электронный ресурс]. – URL: http://www.unodc.org/unodc/en/
prevention/additional-resources/prevention-standards-ru.html

10.   Оценка проектов и программ: методология и практика / под ред. А.И. Кузьмина, Р. О’Салливан, Н.А. Кошелевой. – М.: Изд-во «Престо-РК», 2009. – 396 с.

11.   Оценка эффективности деятельности учреждений социальной поддержки населения / под ред. П.В. Романова, Е.Р. Ярской-Смирновой. Серия «Научные доклады: независимый экономический анализ». – М.: Московский общественный научный фонд; Центр социальной политики и гендерных исследований, 2007. – 234 с.

12.   Руководство по планированию, мониторингу и оценке результатов развития // Программа развития Организации Объединенных Наций [Электронный ресурс]. – URL: http://web.undp.org/evaluation/handbook/Russian/pme-handbook-Russian.pdf

13.   Социальные детерминанты здоровья и благополучия подростков. Исследование «Поведение детей школьного возраста в отношении здоровья» (HBSC): международный отчет по результатам исследования 2009/2010 гг. / под ред. C. Currie и др. – Копенгаген: Европейское региональное бюро ВОЗ, 2012. – 31 c. [Электронный ресурс]. – URL: http://www.euro.who.int/_data/assets/pdf_file/0010/181972/E96444-Rus-full.pdf.

14.   Технологии разработки и совершенствования молодежных социальных проектов и программ по формированию здорового образа жизни в студенческой среде: учебно-методическое пособие / Л.А. Цветкова, И.Н. Гурвич, М.М. Русакова [и др.] / под ред. И.Н. Гурвича. – СПб.: Изд-во С.-Петерб. ун-та, 2004. – 148 с.

15.   Building on Our Strengths: Canadian Standards for School-based Youth Substance Abuse Prevention, Version 2.0. – Canadian Centre for Substance Abuse, 2010. – 137 p. [Electronic resource]. – URL: http://www.ccsa.ca/2010%20CCSA%20Documents/
ccsa-011815-2010.pdf

16.   European drug prevention quality standards. A manual for prevention professionals. – European Monitoring Centre for Drugs and Drug Addiction (EMCDDA), 2011. – 292 p. [Electronic resource]. – URL: http://www.emcdda.europa.eu/
attachements.cfm/att_145539_EN_TD3111250ENC.pdf

17.   Farrington D.P. Methodological quality standards on evaluation research // The Annals of the American Academy of Political and Social Science, 2003. – Р. 49–68.

18.   Health Behaviour in School-aged Children: Trends Report 1990–2010. – HBSC, 2014. – 116 р. [Electronic resource]. – URL: http://www.phac-aspc.gc.ca/hp-ps/dca-dea/prog-ini/school-scolaire/behaviour-comportements/assets/pdf/trends-tendances-eng.pdf

19.   Higgins J.P.T., Green S. Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 [updated March 2011]. – The Cochrane Collaboration, 2011. [Electronic resource]. – URL: http://www.cochrane-handbook.org

20.   Hummelbrunner R. Learning, Systems Concepts and Values in Evaluation: Proposal for an Exploratory Framework to Improve Coherence // IDS Bulletin. – 2015. – Vol. 46. – Issue 1. – P. 17–29.

21.   International Standards on Drug Use Prevention. – UNODC, 2013. – 49 p. [Electronic resource]. – URL: http://www.unodc.org/documents/prevention/prevention_
standards.pdf

22.   Patton M.Q. Utilization-Focused Evaluation, 4th edition. – Thousand Oaks, Ca: Sage Publications, 2008. – 688 p.

23.   Rating quality of evidence and strength of recommendations. GRADE: an emerging consensus on rating quality of evidence and strength of recommendations / G.H. Guyatt, A.D. Oxman, G.E. Vist [et al.] // BMJ, 2008. – Р. 924–926.

24.   Replication in prevention science / J.C. Valentine, A. Biglan, R.F. Boruch [et al.] // Prevention Science. – 2011. – Vol. 12. – Р. 103–117.

25.   Risk assessment of new psychoactive substances. Operating guidelines. European Monitoring Centre for Drugs and Drug Addiction, 2009. – 92 p. [Electronic resource].  –  URL:  http://www.emcdda.europa.eu/attachements.cfm/att_100979_EN_
RiskGuidelines2010.pdf

26.   Segone M., Ocampo A. Creating and Developing Evaluation Organizations: Lessons learned from Africa, Americas, Asia, Australasia and Europe. DESCO and UNICEF: Lima, Peru. –  2006  [Electronic  resource].  – URL: http://ioce.net/download/case_studies/
IOCE_EvalOrgPack_Jan2007.pdf

27.   Social determinants of health and will-being amond young people: Healf Behavior in School-aged Children (HBSC) study: international report from the 2009/2010 survey / edited by C. Currie [et al.]. – Copenhagen, WHO Regional Office for Europe, 2012 [Electronic resource]. – URL: http://www.euro.who.int/__data/assets/pdf_file/0003/
163857/Social-determinants-of-health-and-well-being-among-young-people.pdf

28.   Standards of evidence: criteria for efficacy, effectiveness and dissemination / B.R. Flay,  A. Biglan,  R.F. Boruch  [et al.]  //  Prevention  Science. – 2005. – Vol. 6(3). – Р. 151–175.

29.   Stronger Together: Canadian Standards for Community-based Youth Substance Abuse Prevention. – Canadian Centre for Substance Abuse, 2010. – 160 p. [Electronic resource]. – URL: http://www.ccsa.ca/2010%20CCSA%20Documents/2010_CCSA_ Community-based_Standards_en.pdf

30.   The Combination of Psychedelic and Aversive Approaches in Alcoholism Treatment: The Affective Contra-Attribution Method / E.M. Krupitsky, A.Ya. Grinenko, T.N. Berkaliev [et al.]  //  Alcoholism  Treatment  Quarterly.  –  1992. –  Vol. 9,  № 1. – P. 99–105.

Ссылка для цитирования

УДК 616.89-008.441.13-084

Корчагина Г.А., Фадеева Е.В. Оценка эффективности программ профилактики потребления психоактивных веществ // Медицинская психология в России: электрон. науч. журн. – 2015. – N 2(31). – C. 6 [Электронный ресурс]. – URL: http://mprj.ru (дата обращения: чч.мм.гггг).

Все элементы описания необходимы и соответствуют ГОСТ Р 7.0.5-2008 "Библиографическая ссылка" (введен в действие 01.01.2009). Дата обращения [в формате число-месяц-год = чч.мм.гггг] – дата, когда вы обращались к документу и он был доступен.

The evaluation of the effectiveness of psychoactive substance abuse
prevention programmes

Korchagina G.A., Fadeeva E.V. (Moscow, Russian Federation)

Korchagina Galina Aleksandrovna –  doctor of Medicine, professor, deputy director; "National Research Centre on Addictions", branch of Federal State Budgetary Institution "V. Serbsky Federal Medical Research Centre for Psychiatry and Narcology" of the Ministry of Health of the Russian Federation, Malyi Mogiltsevskiy lane, 3, Moscow, 119002, Russian Federation. Phone: 8-499-241-06-03. E-mail: nrcakorch@mail.ru

Fadeeva Evgeniya Vladimirovna –  candidate of psychological science, head of the unit of psychoactive substance use prevention among young people; "National Research Centre on Addictions", branch of Federal State Budgetary Institution "V. Serbsky Federal Medical Research Centre for Psychiatry and Narcology" of the Ministry of Health of the Russian Federation, Malyi Mogiltsevskiy lane, 3, Moscow, 119002, Russian Federation. Phone: 8-499-241-06-03. E-mail: nscnfadeeva@mail.ru

Abstract

The integral component of effective national drug abuse prevention system implemented in health establishments, education establishments, and other organizations, including religious and non-governmental organizations, is the preventive interventions assessment system. It is necessary to evaluate carefully the usefulness and as far as possible, the economic efficiency of implemented prevention programmes. As it is difficult to evaluate the effectiveness of prevention programmes implemented for different age groups, to consider the interaction of all the factors that lead to the vulnerability to psychoactive substance abuse of the relevant age groups, and the coverage of potential individual risks standard, methodological approaches and clear evaluation criteria are needed. General methodological principles and approaches, based on the analysis of scientific and legal information are created on the basis of the priority of social effects, of an integrated approach, comparability of the results and obligatory recording and analysis of the costs for implementation of drug abuse prevention programmes. Often it is difficult to observe the methodological principles because of lack of sufficient financial and human resources, however, it is necessary to strive for observe the standard, uniform and scientifical criteria for evaluation to increase prevention programme implementation efficiency. As a result, the evaluation results will allow programme developers to understand what the consequences of proposed methods and approaches to prevention of psychoactive substances use among different population groups are, and to expand the knowledge base of preventive interventions.

This article deals with implementation of systematic and scientific-based methods of evaluating the efficiency of preventive activities aimed at reducing psychoactive substance abuse. Issues of implementation and assessment system are very important because of great scientific and practical experience gained in Russia and other countries. The article places the emphasis on general methodological principles and approaches, types and stages of evaluating the efficiency of preventive activities.

Key words: psychoactive substances abuse prevention programmes; evaluation of the effectiveness of psychoactive substances abuse prevention programmes; types of evaluation.

  Bibliographic reference  

It is necessary to implement a system of deep and independent evaluation for successful realization of psychoactive substance use prevention programmes. The reality of an objective evaluation of preventive interventions originally is presented as a set of various facts that reflect different events and phenomena in which it is difficult to see any regularity. It is difficult enough to analyze them in all its diversity and intrinsic unity, to choose the essential parts and to identify the forecasting trends. The reviews on the study of primary prevention note that most of these activities are not formally evaluated because it is practically impossible to make a conclusion about its effectiveness. The lack of uniform methodological principles and approaches for assessing the effectiveness don't allow to compare different programmes and to fully use the resources of their distribution.

The international prevention standards function and are updated regularly in Europe, Canada and other countries [15; 16; 29]. International standards for drug abuse prevention [9; 21], adopted by United Nations Office on Drugs and Crime (UNODC) in 2013, give a methodological study on protection of health and development of healthy lifestyles among children, teenagers and adults, contain information about prevention, healthy and safe development of children, opportunities to prevent drug and toxic substance abuse, effective prevention programmes for different categories of the population (children, teenagers, adults, pregnant women). International prevention standards include structured information about creating a national system for the prevention of tobacco, alcohol and drug use, building on the principles of evidence-based medicine, which is based on verification of the effectiveness and safety of diagnostics methods, prevention and treatment in the clinical studies. The fundamental criteria for the introduction and implementation of standards for systematic psychoactive substance abuse prevention are the evaluation and qualitative analysis of the effectiveness of interventions [1; 9; 11; 21]. The prevention programmes implemented successfully in Western countries, in most cases, are totally ineffective in Russian conditions [22; 24; 26].

In this regard the theoretical models of Western prevention programs should be complemented by domestic empirical studies [5; 12; 13; 20; 27].

The key aspects of development of effective primary psychoactive substances abuse prevention bases are:

In 2010, the European Monitoring Centre for Drugs and Drug Addiction (EMCDDA) published "The guidelines for the evaluation of prevention programmes effectiveness", containing the modern consolidation of practical experience and supplemental theoretical developments. According to the definition adopted by the EMCDDA, evaluation of prevention programmes effectiveness is systematic and scientific collection of data related to the introduction of the programme (project), data processing and analysis to determine the efficiency and effectiveness of the program [16].

It is necessary to select general methodological principles and approaches, based on the analysis of scientific and legal information and take into account the following factors:

Evaluating the effectiveness causes some difficulties, because the changes of dynamic characteristics of psychoactive substance use taking place for many years, don't allow to do it unequivocally. The methodology needed to analyze these difficult issues; it is not available often because of the lack of sufficient financial and human resources. The assessment should also include the analysis of needs for some form of intervention, the effectiveness of the project and the planned activities also the analysis of the quality of the project implementation.

The methods both quantitative and qualitative analysis, assessment of economic efficiency of programs can be used, the difficulties and problems can be studied in assessing the effectiveness [19; 23].

There are following types of evaluation: evaluation of programme planning, evaluation the project implementation, evaluation of the results. The effectiveness of any activity, project, programme is determined by how well everything was planned, all the circumstances and factors that could affect the outcome were taken into account. Hence it is necessary to assess the planning of the programme at the design stage when goals and objectives, target groups are indified, methods of realization of the planned tasks are chosen. The evaluation of programme planning reflects the process of defining the problem, the necessary interventions, target groups and the aims of the program, also the evaluation of planning includes the evaluating of resources. The evaluation of programme planning can be conducted as by an expert from outside, and by the person participating in the project. Information sources can be the literary data, the special scientific research data obtained through interviewing of employees, the written reports on the work carried out in this phase. The evaluation of preventive programme planning phase allows to determine the situation with spread of psychoactive substance abuse, the main problems, why, for what and what in this connection it is planned to undertake, whether goals and target groups were defined, how the project will be implemented, what resources it would require. The evaluation phase at the implementation stage of the project is the most laborious and difficult; the exception of it or low quality carrying out will not allow to assess fully the effectiveness of one or another prevention program, its effect on different participants. This phase includes the audience research and preliminary examination of the programme, needs assessment and social marketing for the characteristics of the participants of the program, what methods would be used for evaluation (qualitative or quantitative), what tools and documents would be used (interviews, questionnaires, etc.) where, when and how often the information on the project would be collected, who would collect the necessary information to assess the effectiveness of project implementation, how the data would be analyzed. At the end of his stage it should be clear how the process would be measured, what happened during the implementation of the project, how many people are involved in the programme, how many target groups there are, and how well this programme was held. The important point of the assessment is the comparison of planned activities with the fact that happened in real life. The final evaluation stage of the effectiveness of prevention programmes is the evaluation stage of implementation of the programme. The total or final evaluation of the effectiveness of prevention programmes is needed in order to determine whether the final goals were achieved and the cost of achieving them, and the effectiveness of the techniques employed.

The evaluation of the results is addressed to the general objectives of the programme, changes of knowledge and behaviors, and maintenance of the changes. The comprehensive final assessment can be aimed at both immediate and at long-term effects, and can be analyzed as envisaged and unforeseen effects, and the lack of effects [6; 7; 10; 19].

It should be determined, what could be the result of a prevention program for an objective assessment. It should be kept in mind that the prevention programmes create the effect of the first, second and third order each can be seen as the result [3; 4; 30].

When evaluating programmes the notice is mostly taken of the effects of the first order (in part because they are easier to be documented). They include the assessment of the activities carried out directly by programme implementers. For example, the first order effect of preventive programme can be the growth in the number of participants, which suggests a positive outlook of this programme and increase the degree of involvement participants of the interventions. The evaluation of second-order effects considers the influence exerted by the programme that is whether anything changed in the knowledge, attitudes, behavior of the participants. The third-order effects include: changes in approaches to solving the problem in society progress towards solving the problem, etc. [8].

In conclusion we can say that the assessment is a scientific method that determines the effectiveness of intervention strategies takes into account the impact of risk factors that limit implementation of prevention programmes and the economic costs for achieving the methods used. The use of common general provisions forms of evaluation of the effectiveness of prevention programmes will allow to integrate the existing Russian experience in this area and to achieve the best results by selecting the most effective programmes and substantiating the closure of programmes without effect.

References

1.   Avtonomov A.S., Khananashvili N.L. Otsenka v sotsial'nom proektirovanii. Metodicheskoe posobie [The assessment of social design]. Moscow, Natsional'naya Assotsiatsiya blagotvoritel'nykh organizatsii Publ., 2010. 150 p.

2.   Beikvel O. Sovershenstvuya protsess razvitiya. Prakticheskoe posobie po monitoringu i otsenke [Improving the development process. A Practical Guide for Monitoring and Evaluation]. INTRAC, 2004.

3.   Berkaliev T.N. Sushchnost' problemy monitoringa pri rasprostranenii rezul'tatov proektov v obrazovanii [The essence of the problem of monitoring the propagation of the project results in education]. In: Obosnovanie printsipov rasprostraneniya opyta realizatsii itogov proektov v obrazovatel'nykh sistemakh raznogo urovnya s uchetom sotsiogeograficheskikh osobennostei regiona: deponirov. otchet o nauchno-issledovatel'skoi rabote za 2002 per. nomer 07 003 2684 SPBGU. Itogovyi otchet po gosudarstvennomu kontraktu № 439 ot 18.06 [Final Report on the state contract № 439  18.06]. Moscow, 2002.

4.   Berkaliev T.N. Profilaktika narkomanii v territorial'noi sisteme obshchego obrazovaniya. Dis. kand. ped. nauk [Prevention of drug addiction in the territorial system of general education. Cand. pedagogical sci. diss.]. St. Petersburg, 2003. 232 c.

5.   Valyushitskaya I.V. Putevoditel' po otsenke program [The guide of program evaluation]. Krasnoyarsk: Krasnoyarskaya regional'naya molodezhnaya obshchestvennaya organizatsiya Tsentr «Sotrudnichestvo na mestnom urovne», 2005. Available at: http://www.kccp.ru/lib/putevoditel_po_otsenke.zip

6.   Vlasov V.V., Rebrova O.Yu. Dokazatel'naya meditsina: formulirovka aktual'nogo klinicheskogo voprosa, ierarkhiya dokazatel'stv, istochniki informatsii [Evidence-based medicine: formulation of actual clinical question, the hierarchy of evidence, the sources of information]. Zamestitel' glavnogo vracha: lechebnaya rabota i meditsinskaya ekspertiza, 2010, no. 1.

7.   Guseva E.G. Monitoring i otsenka proektov [Project monitoring and assessment]. St. Petersburg, TsRNO Publ., 2014.

8.   Dyshychev R.D. Pedagogicheskie usloviya profilaktiki upotrebleniya psikhoaktivnykh veshchestv mladshimi shkol'nikami. Dis. kand. ped. nauk [Pedagogical conditions of the prevention of drug use by junior schoolchildren. Cand. pedagogical sci. diss.]. Maikop, 2004. 201 p.

9.   Mezhdunarodnye standarty po profilaktike upotrebleniya narkotikov [The international standards on the drug use prevention]. UPN OON, 2013.  Available at: http://www.unodc.org/unodc/en/prevention/additional-resources/prevention-standards-ru.html

10.   Kuz'min A.I., O’Sallivan R., Kosheleva N.A., eds. Otsenka proektov i programm: metodologiya i praktika [The evaluation of projects and programs: methodology and practice]. Moscow, Izd-vo "Presto-RK" Publ., 2009. 396 p.

11.   Romanov P.V., Yarskaya-Smirnova E.R., eds. Otsenka effektivnosti deyatel'nosti uchrezhdenii sotsial'noi podderzhki naseleniya [The assessment of the effectiveness of the institutions of social support]. Moscow, Moskovskii obshchestvennyi nauchnyi fond Publ.; Tsentr sotsial'noi politiki i gendernykh issledovanii Publ., 2007. 234 p.

12.   Rukovodstvo po planirovaniyu, monitoringu i otsenke rezul'tatov razvitiya [The effectiveness of the activities of the establishments social support of population assessment]. Programma razvitiya Organizatsii Ob"edinennykh Natsii [Development Programme of the United Nations organization]. Available at: http://web.undp.org/evaluation/handbook/Russian/pme-handbook-Russian.pdf

13.   Currie C. et al., eds. Sotsial'nye determinanty zdorov'ya i blagopoluchiya podrostkov. Issledovanie "Povedenie detei shkol'nogo vozrasta v otnoshenii zdorov'ya" (HBSC): mezhdunarodnyi otchet po rezul'tatam issledovaniya 2009/2010 gg. [Social determinants of health and well-being of teenagers. The study "The behavior of school-age children for health" (HBSC)]. Kopengagen: Evropeiskoe regional'noe byuro VOZ Publ., 2012. 31 p. Available at: http://www.euro.who.int/_data/assets/pdf_file/0010/
181972/E96444-Rus-full.pdf

14.   Tsvetkova L.A., Gurvich I.N., Rusakova M.M. et al. Tekhnologii razrabotki i sovershenstvovaniya molodezhnykh sotsial'nykh proektov i programm po formirovaniyu zdorovogo obraza zhizni v studencheskoi srede [The technologies of development and improvement of youth social projects and programs to promote healthy lifestyle among students]. St. Petersburg, Izd-vo S.-Peterb. un-ta Publ., 2004. 148 p.

15.   Building on Our Strengths: Canadian Standards for School-based Youth Substance Abuse Prevention, Version 2.0. Canadian Centre for Substance Abuse, 2010. 137 p. Available at: http://www.ccsa.ca/2010%20CCSA%20Documents/ccsa-011815-2010.pdf

16.   European drug prevention quality standards. A manual for prevention professionals. European Monitoring Centre for Drugs and Drug Addiction (EMCDDA), 2011. 292 p. Available at: http://www.emcdda.europa.eu/attachements.cfm/att_145539_EN_
TD3111250ENC.pdf

17.   Farrington D.P. Methodological quality standards on evaluation research. The Annals of the American Academy of Political and Social Science, 2003, pp. 49–68.

18.   Health Behaviour in School-aged Children: Trends Report 1990–2010. HBSC, 2014. 116 р. Available at: http://www.phac-aspc.gc.ca/hp-ps/dca-dea/prog-ini/school-scolaire/behaviour-comportements/assets/pdf/trends-tendances-eng.pdf

19.   Higgins J.P.T., Green S. Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 [updated March 2011]. The Cochrane Collaboration, 2011. Available at: http://www.cochrane-handbook.org

20.   Hummelbrunner R. Learning, Systems Concepts and Values in Evaluation: Proposal for an Exploratory Framework to Improve Coherence. IDS Bulletin, 2015, vol. 46, issue 1, pp. 17–29.

21.   International Standards on Drug Use Prevention. UNODC, 2013. 49 p. Available at: http://www.unodc.org/documents/prevention/prevention_standards.pdf

22.   Patton M.Q. Utilization-Focused Evaluation. 4th edition. Thousand Oaks, Ca: Sage Publications, 2008. 688 p.

23.    Guyatt G.H., Oxman A.D., Vist G.E., Kunz R., Falck-Ytter Y., Alonso-Coello P., Schünemann H.J. Rating quality of evidence and strength of recommendations. GRADE: an emerging consensus on rating quality of evidence and strength of recommendations. BMJ, 2008, pp. 924–926.

24.    Valentine J.C., Biglan A., Boruch R.F., Castro F.G., Collins L.M., Flay R., Kellam S., Moscicki E.K., Schinke S.P. Replication in prevention science. Prevention Science, 2011, vol. 12, pp. 103–117.

25.   Risk assessment of new psychoactive substances. Operating guidelines. European Monitoring Centre for Drugs and Drug Addiction, 2009. 92 p. Available at: http://www.emcdda.europa.eu/attachements.cfm/att_100979_EN_RiskGuidelines2010.pdf

26.   Segone M., Ocampo A. Creating and Developing Evaluation Organizations: Lessons learned from Africa, Americas, Asia, Australasia and Europe. DESCO and UNICEF: Lima, Peru. 2006. Available at: http://ioce.net/download/case_studies/IOCE_EvalOrgPack_
Jan2007.pdf

27.   Currie C. et al., eds. Social determinants of health and will-being amond young people: Healf Behavior in School-aged Children (HBSC) study: international report from the 2009/2010 survey. Copenhagen, WHO Regional Office for Europe, 2012. Available at: http://www.euro.who.int/__data/assets/pdf_file/0003/163857/Social-determinants-of-health-and-well-being-among-young-people.pdf

28.   Flay B.R., Biglan A., Boruch R.F., Castro F.G., Gottfredson D., Kellam S., Moscicki E.K., Schinke S., Valentine J.C., Ji P. Standards of evidence: criteria for efficacy, effectiveness and dissemination. Prevention Science, 2005, vol. 6(3), pp. 151–175.

29.   Stronger Together: Canadian Standards for Community-based Youth Substance Abuse Prevention. Canadian Centre for Substance Abuse, 2010. 160 p. Available at: http://www.ccsa.ca/2010%20CCSA%20Documents/2010_CCSA_Community-ased_
Standards_en.pdf

30.   Krupitsky E.M., Grinenko A.Ya., Berkaliev T.N., Paley A.I., Petrov V.N., Moshkov K.A., Borodkin Yu.S. The Combination of Psychedelic and Aversive Approaches in Alcoholism Treatment: The Affective Contra-Attribution Method. Alcoholism Treatment Quarterly, 1992, vol. 9, no. 1, pp. 99–105.

Bibliographic reference

Korchagina G.A., Fadeeva E.V. The evaluation of the effectiveness of psychoactive substance abuse prevention programmes. Med. psihol. Ross., 2015, no. 2(31), p. 6 [in Russian, in English]. Available at: http://mprj.ru ↑

Предыдущие
выпуски журнала