Введение Одним из ключевых вопросов при разработке модели политики регионального развития в России является вопрос о том, как следует оценивать политику, стратегии, и принимаемые меры. Хотя оценка иногда понимается как внешний аспект политики, применяемый для конкретных ситуаций, все же она может быть эффективно использована только если она является неотъемлемой частью процесса принятия политических решений. Например, оценка может помочь политикам принять решение об эффективности и действенности различных вариантов политики. При использовании тестовых экспериментов и методов оценки воздействия различных факторов, оценка может дать ex ante прогноз возможных результатов стратегий и мер. Она также может помочь при проведении политики в жизнь, обеспечивая обратную связь менеджмента и практического применения политики и давая возможность принять корректирующие меры. И наконец, оценка дает средства для определения, ex post, результатов и влияния политики и вклада мер региональной политики в такие параметры, как доход регионов, капиталовложения, и занятость. Как таковая, оценка может обеспечить ответственность политиков за свои действия, как внутреннюю (перед правительством), так и внешнюю (перед электоратом).

Как вклад в развитие региональной политики в России, данный краткий отчет рассматривает эти вопросы более детально. В разделе 2 обсуждаются некоторые концепции, лежащие в основе оценки, и причины различного отношения к ней. В разделе 3 рассматривается оценка национальной региональной политики стран членов ЕС и сравниваются те страны, в которых оценка является ключевым вопросом процесса региональной политики, и те, в которых оценка используется более ограниченно. В разделе 4 обсуждаются разнообразные существующие методики оценки региональной политики, особое внимание уделяется наиболее важным методологическим проблемам.

В разделе 5 основное внимание уделяется региональной политике ЕС. Описана роль мониторинга и оценки как части процесса развития политики Структурных Фондов. Отмечена важность эффективных систем мониторинга как основы объективной оценки. Обсуждаются три основных стадии оценки: ex ante, промежуточная и ex post, приведены примеры и уроки опыта недавних лет. Наконец, некоторые наиболее важные итоги подведены в разделе “Выводы”.

2. Концепция оценочного анализа

2.1 Зачем нужен оценочный анализ?

Оценка является установленной, хотя и не всегда принимаемой чертой правительственной политики в Западной Европе и Северной Америке. Следующее объяснение необходимости оценки дано Европейской Комиссией (CEC (1999):

“Целью оценки является проверка истинных причин вмешательства в дела общества, проверка воспроизводимого удачного опыта и провалов политики, чтобы избежать их повторения, и обратный отчет перед гражданами. Если предприятия частного сектора не имеют особой нужды отчитываться за свои действия, так как объективной оценкой их деятельности является рынок, организации общественного сектора обязаны проводить оценку их деятельности.” (стр.17)

Региональная политика, как и прочие области правительственных расходов, является предметом оценки. Действительно, по крайней мере, некоторые страны настолько хорошо понимают необходимость оценки, что это даже не обсуждается явным образом. Стандартные тесты региональной политики показывают, что причины совершенно очевидны и часто бывают связаны с понятием экономической эффективности политики. Например, Wadley (1986) утверждает, что оценка может базироваться на трех отдельных факторах, включающих региональное распределение экономической деятельности, совокупную эффективность экономики или финансовое влияние на национальное казначейство. Подобного взгляда придерживается также Vanhove (1999), который рассматривает оценку региональной политики исключительно в рамках экономической эффективности и действенности.

Тем не менее, во многих странах, региональная политика была введена не на основе экономических расчетов стоимости и прибыли региональной политики, но как политическая реакция на проблемы, такие как высокий уровень региональной безработицы или низкое развитие региона. Другие факторы включают социальную справедливость или стратегические или военные нужды (Allen et al, 1979). Как заметил McCrone (1969) более 30 лет назад, “во многих случаях правительства принимают региональную политику, даже если показано, что экономические результаты неубедительны”. Конечно, 50-е и 60-е годы были периодом интервенционистской политики правительств, когда считалось, что общественная политика может и должна существенно влиять на выравнивание региональных различий. “Регионы быстро узнавали о развитии других регионов, и эти знания влияли на задачи, поставленные правительством. Ожидалось, что все должно происходить очень быстро… Только очень ограниченные исследования проводились относительно регионального развития, и новые концепции применялись практически “с листа”. Никто не знал, что могло получиться” (Savoie, 1986).

В последующие десятилетия, иллюзии были опрокинуты, и более реалистично стали оцениваться возможности и пределы воздействия правительства. Более акцентированными стали экономические аргументы региональной политики, обсуждаемой в рамках вклада последней в межрегиональное равенство и эффективность национальной экономики. Тем не менее, нельзя отрицать, что неэкономические факторы региональной политики еще сильны в некоторых странах, и это показывает предполагаемый уровень возможности оценки региональной политики. Как указано далее в настоящем отчете, это частично объясняет различия между странами ЕС в традициях и практике оценки региональной политики.

Далее, традиционные взгляды на рациональность политического процесса существенно изменились. Как указывает Nijkamp (1989), упрощенное представление о том, что политики хотят достичь определенных конкретных целей на основе выбора наиболее подходящих инструментов, не совсем верно:

• задачи политики часто не существуют в гармонии друг с другом, но могут находиться в прямом или косвенном конфликте;
• политики не составляют однородную группу, принимающую рациональные решения, они могут руководствоваться различными взаимопротиворечащими принципами;
• пространство принятия решений политиками часто не очень большое из-за организационных, прагматических, технических или финансовых ограничений;
• информация об эффекте решений, как прямых так и косвенных, часто бывает недостаточной, так что процесс принятия политических решений происходит в неопределенном, если не злоумышленном контексте.

Действительно, весь процесс принятия политических решений включает элементы конфликта ценностей и решения проблем, что требует переговоров и компромиссов для получения результатов, которые могут оказать большее влияние на справедливость распределения, чем на результирующую эффективность (Diamond, 1984).

Имея в виду эти подводные камни, можно определить четыре причины для оценки региональной политики: определение эффективности, обоснование издержек, улучшение менеджмента и проверка предположений.

2.1.1. Определение эффективности

Получение знаний о влиянии и эффективности политики – традиционная и наиболее распространенная причина для оценки региональной политики. Обычно задаются следующие вопросы. Повысился ли региональный продукт или уровень занятости регионов, которым была оказана поддержка, при использовании инструментов региональной политики? Достигла ли политика поставленных целей? (Vanhove, 1999; BAW, 1997). Конечно, терминология эффективности неоднозначна и может быть интерпретирована по-разному. Diamond and Spence (1993) различают понятия результативности (результата) региональной политики, продуктивности (результата, достигнутого по отношению к поставленной цели), эффективности (по стоимости) и действенности (лучший возможный компромисс между разноречивыми задачами и политическим и административным давлением). В каждом случае оценке подлежат различные аспекты.

На практике, большинство оценочных исследований, проводимых в странах ЕС, фокусировались на определении результативности региональной политики – в частности, количество созданных рабочих мест – и стоимостной эффективности различных инструментов региональной политики, такие как стоимость одного рабочего места. После принятия подхода Gemeinschaftsaufgabe к региональной политике в Германии в 1969 году, регулярная оценка результатов действия региональных инструментов рассматривалась как неотъемлемая часть нормального функционирования политики, хотя успехи были не очень высоки до 80-х годов (Asmacher, 1989; Neupert, 1986). В 70-х годах в Великобритании была принята долговременная программа оценки эффективности и результативности всех инструментов региональной политики, что было вызвано жесткой критикой парламентского комитета в 1973 году по поводу отсутствия “надлежащей оценки затрат и доходов проводимой политики” (House of Commons, 1974).

2.1.2. Увеличение отчетности

Второй причиной для необходимости оценки региональной политики является тот факт, что общественные органы должны отчитываться за свои расходы. Как указано ранее, за последние три десятилетия политический климат придал больший вес этой области отчетности с целью обоснования расходов выделенных средств и контроля их увеличения. Diamond and Spence (1983) указали, что исследования Европейского Аудиторского Суда, проведенные в 1980 году, продемонстрировали растущий интерес общественности к результатам региональной политики. Это было также подчеркнуто в работе Mairate and Hall (1999), где было отмечено, что “оценка является центральной темой, не только для определения результатов воздействия, но все более и более по причинам отчетности, т.е., vis-б-vis (диалог) между европейскими и национальными учреждениями и европейскими налогоплательщиками”. Как указано далее в настоящей работе, именно вопросы отчетности привели к расширению режима мониторинга и оценки в региональной политике ЕС. Последующие отчеты Европейского Аудиторского Суда содержали критические замечания по поводу отсутствия адекватной информации о распределении Структурных Фондов.

2.1.3. Понимание и повышение уровня менеджмента

Выходя за рамки результатов политики, выражаемых численно, третьим фактором возрастающей значимости оценки региональной политики является ее влияние на процесс проведения политики в жизнь. На программном уровне, оценка проводится для улучшения уровня менеджмента и проводимой политики. Вводное утверждение официального руководства по оценочной деятельности Канады гласит: “Доступность значимой, достоверной и объективной информации по выполнению программы является существенной для хорошего менеджмента и принятия мудрых программных решений” (McNab, 1991). Недавние нововведения в ЕС включают требование системной оценки для ‘плодотворного и эффективного менеджмента’ деятельности Европейской Комиссию Как часть Структурных Фондов, оценка рассматривается как ценный программный инструмент, способный определить сильные и слабые точки, возможности для улучшения, адекватное функционирование различных частей программы и реакции клиентов, сотрудников и прочих на программу (CEC, 1997)

2.1.4. Тестирование предположений

Последняя причина для проведения оценки – тестирование предположений, на которых основана региональная политика – обычно выходит за чисто практические рамки интересов политиков и становится ближе к научному исследованию. Теории регионального развития предполагают, что региональное воздействие приводит к определенным результатам. Например, традиционная региональная политика была основана на том, что капиталовложения в инфраструктуру или поддержку предприятий для создания рабочих мест будет способствовать межрегиональному перераспределению труда и капитала в пользу регионального роста менее развитых регионов. За последние два десятилетия политическое мышление претерпело сдвиг в сторону необходимости поддержки мобилизации внутренних местных/региональных ресурсов через децентрализованные структуры и сети с множеством задач и инструментов, особенно с целью развития инноваций и конкуренции. Тем не менее, если оценка причин и следствий вмешательства в региональное развитие с использованием финансовых стимулов и вложений в инфраструктуру хорошо разработана и широко используется, то предположения, на которых основаны новейшие региональные и локальные политические программы, оцениваются недостаточно. В конце 80-х, Stцhr (1989) сделал вывод относительно ‘новой парадигмы’ региональной политики о том, что “несомненно, важной исследовательской задачей является разработка методологий для процесса оценки для разнообразных переменных, находящихся в различных стадиях”. Небольшой прогресс, достигнутый с того времени, отметил Lovering (1999), указав на недостаток проверенных философских, методологических и доказательных основ для политики ‘нового регионализма’.

2.2. Что включает в себя оценка?

Из вышесказанного очевидно, что несмотря на понимание необходимости и значительное использование оценочного анализа, не достигнуто согласие по вопросу о том, что именно должно быть оценено. Европейская Комиссия интерпретирует этот вопрос следующим образом (CEC, 1999): “Оценка общественного воздействия состоит в определении его значения по отношению к явным критериям на основе специально собранной и проанализированной информации” (CEC, 1999). Тем не менее, есть много других определений: есть разногласия по поводу степени объективности и субъективности процесса оценки и по поводу возможности определения стандартных ‘норм’ или ‘показателей’, применимых к различным регионам, секторам, странам и политикам. Европейская Комиссия (CEC, 1999) предполагает, что можно классифицировать различные концепции оценки в европейских странах тремя путями.

Первый путь – это традиционный ‘менеджерский’ подход к оценке, связанный с эффективным управлением общественных расходов, например, подход Великобритании к оценке ‘стоимостного результата’, полученного при применении мер региональной политики. Эта оценка проводится независимым агентом, что придает научную объективность методологии. Второй подход, названный ‘демократичным’, предполагает общественный процесс отчетности политических деятелей, а агенты, проводящие оценку, предоставляют техническую поддержку демократическому форуму, который и выносит окончательное суждение. Примером являются так называемые ‘консенсусные конференции’ в Дании. Наконец, существует также ‘плюралистичный’ подход, который представляет собой компромисс между первыми двумя. Этот подход иллюстрируется практикой оценки во Франции, он включает создание представительных органов, объединяющих партнеров или акционеров, которые коллективно проводят оценочный анализ при консенсусе и управляют работами по проведению оценки (CEC, 1999).

Независимо от концепции понятия оценки, процесс отдельных процедур оценки имеет ряд стандартных характеристик. Процесс начинается с определения мотивов и задач оценки, чтобы обеспечить правильное понимание ее цели и использования, а также параметров (например, объем при оценке политики влияния). Важной частью данного этапа является также распределение ролей и ответственности каждого участника процесса (органы власти, которым необходима оценка, организационный комитет, группа, проводящая оценку, и т.д.). Следующая ступень включает подготовку исходных условий оценки, определение ключевых вопросов, критериев оценки и требуемых результатов, а также логистику – бюджет и график. Сама процедура оценки включает принятие решений, основанных на опыте группы, проводящей оценку, а также используемые методологические инструменты (см. также раздел 4). Процесс завершается рассмотрением и использованием результатов оценочной деятельности, сравнением качества проведенной оценки с первоначальными задачами и критериями, такими как надежность, достоверность, ясность и беспристрастность выводов. Важной чертой данной стадии является эффективное распространение результатов оценки, принимая во внимание различные точки зрения и нужды участников.

Наконец, если оценка такого типа может рассматриваться как ‘единичное событие’, все более популярной становится идея, что эффективная оценка должна быть ‘внедрена’ в политический процесс для создания единого виртуального круга политического проектирования, исполнения и оценки. Этот подход требует выработки задач, подвластных оценке, и определения выходных показателей и целей, представляющих успешное выполнение задачи. Также необходимо создание систем отбора и мониторинга, которые будут работать с данными, необходимыми во время выполнения программы. Наконец, необходимы системы, способные использовать результаты оценки и внедрять их в разработку и выполнение будущих программ.

3. Оценка схем поддержки регионов: опыт национальной региональной политики

3.1. Традиции оценочного анализа

В предыдущих разделах обсуждались разнообразные концепции, интерпретации и методы оценки. Естественно, обсуждение было на несколько абстрактном уровне. Чтобы дать более практическую информацию для Российских политиков, будет полезно рассмотреть роль оценки как части политического процесса в ЕС. В этом разделе рассматривается, как оцениваются основные инструменты региональной политики в ЕС (схемы поддержки регионов).

Для начала необходимо повторить, что существуют большие различия в практике оценочной деятельности в странах ЕС. На одном конце спектра находятся страны с долговременными традициями оценки общественной политики. В этих странах оценка понимается как неотъемлемая часть политического процесса, в котором разработка и оценка политики связаны итерационным процессом эволюции политики. Региональная политика регулярно оценивается как в рамках конкретных результатов конкретных региональных программ поддержки отдельных компаний, так и в рамках общих результатов отдельных политических мероприятий и более широких результатов пакетов политических программ на экономику региона.

На другом конце спектра находятся страны ЕС, в которых отсутствуют традиции оценки региональной политики. Иногда это может отражать ограниченность ресурсов и умений систематического прогнозирования и оценки политики, но обычно это является следствием широкомасштабного скептицизма по отношению оценочных исследований как политического инструмента. Хотя оценочный анализ и проводится в этих странах, он обычно представляет собой отдельные акты и не является четко определенной регулярной частью политического процесса.

В данном разделе дан обзор разнообразной практики оценочного анализа по отношению к региональным схемам (финансовым стимулам) отдельных стран ЕС и его эволюция в последние годы. Оценочный анализ региональной политики рассматривается в нескольких аспектах, каждый из которых освещается в последующих разделах: общее отношение к практике оценки, конкретные функции оценки в политическом процессе в смысле оценки конкретных мер, конкретные механизмы воспроизведения и более широкие политические задачи, и наконец, влияние практики оценки Структурных Фондов на национальную практику оценочной деятельности. В следующем разделе (раздел 4) более детально рассматриваются средства и методы, используемые для оценки региональной политики.

Источник: исследования EPRC

3.2. Отношение к процессу оценки

Отношение к процессу оценки сильно варьируется в странах ЕС. В некоторых странах практика оценки глубоко внедрена в административную культуру, в других она применяется только в определенных областях политики или министерствах, и в некоторых случаях существует почти однозначное мнение о незначительной роли оценочной деятельности. Та степень, в которой практика оценки включена в более широкие традиции политического анализа, является ключевым фактором, определяющим отношение к процессу оценки региональной политики. Там, где последняя не является частью более широкой среды оценки как таковой, оценка региональной политики обычно состоит из отдельных исследований, необходимость которых вызвана конкретными политическими требованиями по решению об обзоре политики, а не часть регулярного плана оценочной деятельности. И наоборот, в странах, где оценка рассматривается как важный политический инструмент, процесс организации, проведения и использования оценочного анализа более систематичен и часто применяем.

Тенденции наиболее положительного отношения к оценочной деятельности наблюдаются в северо-западных странах Европы. Например, в Германии, Нидерландах, Швеции и Великобритании процесс оценки всегда рассматривался как важная часть политики, не только в отделениях региональной политики, но и на различных правительственных уровнях. Похожее отношение, хотя и более недавнее, наблюдается в Австрии и Ирландии. Все эти страны отличаются достаточно систематичным подходом к оценке. Оценка как таковая является частью политического процесса.

Великобритания традиционно рассматривается как наилучший пример хорошо развитой культуры оценки. Политики осознают важность постановки задач, мониторинга и оценки, и вкладывают большие инвестиции в оценку эффективности региональной политики за последние 20 лет. В Германии, Рамочный План региональной политики (Rahmenplan) явно постулирует необходимость регулярной оценки способности принимаемых региональных мер влиять на политические приоритеты. Информация, предоставляемая различными ‘контрольными проверками’ предназначена для определения, насколько политические меры должны быть пересмотрены, и следует ли их продолжать вообще. Используются три типа ‘оценки’ для различных аспектов политики, а именно, Vollzugskontrolle (эффекты для отдельных компаний), Wirkungskontrolle (оценка эффективности конкретных инструментов региональной политики) и Zielerreichungskontrolle (общая оценка региональной политики и необходимости воздействия общественности). Голландские региональные политики также имеют традицию оценки политики раз в 4-5 лет в соответствии с пересмотром законодательства региональной политики.

В других странах обращение к оценке более недавнее, в некоторых случаях связанное с соответствием указаниям Структурных Фондов. Например, Австрия и Ирландия предпринимали некоторые действия по оценке политики в прошлом, но разработали более полные и активные подходы в связи с необходимостью соответствовать постановлениям Европейской Комиссии. Это послужило толчком для изменения отношения к оценке мер национальной региональной политики в этих странах.

Во второй группе стран оценка используется только как часть специальных или промежуточных политических отчетов. Это также наблюдалось в Ирландии до недавнего перехода к регулярной оценке программ. Такие страны как Финляндия и Люксембург связывают оценку с пересмотрами региональной политики, что случается нечасто, и рассматривают ее как часть более широких консультационных мер. Например, последний раз большой объем оценочной деятельности наблюдался в Финляндии в 1985 году как часть пересмотра инструментов региональной политики; этот процесс также был начат недавно как часть такой же переоценки мер региональной политики. Однократные акты оценки могут быть вызваны конкретными изменениями политической обстановки. Снижение расходов привели к необходимости в оценке в некоторых странах (например, Люксембург); в других странах оценка рассматривается главным образом как предотвращение нарушений, в основном как часть мониторинга мер региональной политики для соответствия основным направлениям.

В третьей группе стран почти не проводится национальных мероприятий оценки мер региональной политики вне сферы действия Структурного Фонда. Это относится к Франции и южным странам Европы, которые не имеют широких традиций формализованной оценки политики.

Политики в этих странах выражают скептицизм по поводу значимости оценки политики для установления эффективности поддержки в работе отдельных компаний или более широкого экономического влияния принятых мер. Политики указывают методологические проблемы в качестве основной причины для воздержания от оценки, в частности, трудности в выявлении политических эффектов и определении фактов, противоречащих действительности. Существует тенденция полагаться на более неформальные средства определения и оценки политических нужд, где важны индивидуальное политическое мнение и опыт проведения различных вспомогательных схем.

3.3. Роль оценочного анализа в разработке политики

При различном отношении к оценке в пределах ЕС, задачи оценки различны в различных странах ЕС. Результаты могут включаться в отдельные части политического процесса, в зависимости от значения, придаваемого оценке в целом.

Наиболее общепринятая форма оценки – это оценка отдельных конкретных схем. Она может проводиться на регулярной, постоянной основе, как в Великобритании (где обзор Региональной Избирательной Поддержки проводится систематически примерно раз в четыре года) или в Нидерландах (где оценка связана с регулярной разработкой нового Политического Меморандума) – или для конкретных (ad hoc) случаев, определяемых менее формальным расписанием политических обзоров. Оценка обычно проводится на национальном уровне, хотя бывают исключения, в частности, Бельгия, где этот процесс осуществляется правительствами провинций Валлонии и Фландрии.

Обычно оценка проводится неправительственными организациями, хотя во многих странах имеется сильная тенденция проведения оценочной деятельности небольшим количеством исследовательских институтов. Долговременное использование одних и тех же институтов отражает необходимость оценочной экспертизы, так как трудно обеспечить долговременные масштабы, не концентрируя работы в небольшом количестве организаций. Со временем эти организации получают явное преимущество в связи с их способностью к проведению оценки, что увеличивает возможности выигрыша в тендере. В некоторых случаях, проблема ограниченности экспертной оценки решалась основанием специального учреждения или поощрения конкретных учреждений к проведению оценочных исследований. Это могло происходить как вне правительственных организаций (например, через органы, финансируемые государством, SIRR, в Швеции) или внутри их (Программы Оценки ESF и ERDF в Ирландии).

Оценка также важна для проработки изменений в организациях, осуществляющими проведение политики, в различных странах ЕС. За последние 10 лет проводилось много экспериментов с использованием различных методов региональной поддержки бизнеса. Оценка внесла двоякий вклад в этот процесс. Во-первых, были проведены исследования существующих систем с предложениями внести изменения для повышения их эффективности. Например, оценочные исследования были проведены Финскими организациями TEKES (орган финансирования промышленных нововведений) и KERA Ltd (обеспечивающая заем капитала для развития бизнеса), их рекомендации основывались на изменениях ведения бизнеса, критериев финансирования, с особым упором на инструменты политики. Во-вторых, оценка также привела к созданию новых учреждений. Например, Отчет Telesis 1982 года, в котором была дана критическая оценка Ирландской промышленной политики, и последующие отчеты являлись инструментами в серии организационных изменений в проведении поддержки Ирландии, приведя в конце концов к организации Enterprise Ireland.

Наконец, оценка может также охватывать более широкий анализ влияния нескольких мероприятий и общественных актов на региональное развитие. Как говорится в данном отчете, измерение влияния политики на экономическое развитие может быть искажено многочисленными методологическими ловушками. В результате, такие оценки проводятся нечасто и во многих случаях они проводятся независимо от правительственных министерств. Например, эффективность регионального инвестирования в Германии была исследована в 1994 году в Университете Мюнстера с использованием методов эконометрического моделирования и данных, собранных для целых регионов. Такие оценки позволяют получить представление о широкомасштабном влиянии региональной политики, в частности, степень выполнения глобальных политических задач, но политики часто относятся к таким мероприятиям с большой осторожностью.
 

4. Подходы к оценочному анализу

Инструменты региональной политики обнаружили большое сходство в их структуре и действии за последние несколько десятилетий: в целом, наблюдается четкая тенденция к использованию мер с предоставлением средств, которые объединяются общими критериями. Сходство также распространяется на использование стимулов в странах ЕС, особенно это касается отхода от автоматических субсидий. Такая общность возникла по нескольким причинам. Частично это результат разработки сходной политики как ответ на однородные проблемы – такие как необходимость сделать цель схем стимулирования более конкретной из-за растущих бюджетных ограничений – и частично под влиянием одинаковых факторов, таких как ограниченность субсидий, налагаемая властями ЕС. В то же время, сходимость мер региональной политики обусловлена большим обменом опытом между политиками и знаниями о том, что делается в этой области в других странах.

Существуют различные схемы оценки региональной политики. Некоторое сходство в методологических подходах наблюдалось в основном как результат ограниченности достижений, которых можно добиться при данных ресурсах, выделенных на оценочную деятельность, а также как результат отсутствия пространства для разнообразия и инноваций. Как следствие, используются разнообразные подходы к оценке не только в странах ЕС, но и в различные периоды в одной стране. В отличие от самих мер, причины и задачи оценочной деятельности являются очень специфичными, поэтому возможности общей деятельности в этом направлении среди стран ЕС малы. До недавнего времени – до введения оценочной деятельности Структурных Фондов (см. ниже) – также почти не проводился обмен опытом по оценочной деятельности. И наконец, был очень малый обмен общих знаний и концепций оценочной деятельности, если не считать более широкий опыт специалистов по оценке.

Несмотря на существование отдельных независимых традиций оценочной деятельности в странах ЕС, можно обнаружить некоторые общие тенденции в разных странах. В последующих разделах дается обзор различных подходов к оценке схем региональной политики, а затем обсуждаются общие трудности, наблюдаемые при проведении оценочного анализа.

Теоретически, существует широкий спектр методов, доступных специалистам по оценке региональной политики. Эти методы отнесены к нескольким группам (см. табл. 1) в классификации по программе MEANS (CEC 1999b). Прежде всего, эта классификация охватывает средства глобальной оценки программы, включая структурирование оценки (анализ SWOT, концептуальная карта, цветовое голосование), наблюдение за изменениями в оцениваемой области (индивидуальные опросы, фокусная группа, исследование конкретных случаев), анализ данных (GIS, сдвиговый анализ, модели ввода-вывода и макроэкономики) и выводы (экспертные заседания, многопараметрический анализ). Используя одинаковые категории, таксономия определяет средства для глубокого анализа проблемы оценки, включая такие методы как логический анализ, анкетирование, группы сравнения и анализ стоимостного выигрыша.

                                        Таблица 1: Обзор методов оценки
 

Методы глобальной оценки программы

Методы структурирования оценки

Анализ SWOT: Методы определения сильных и слабых сторон региона, а также возможности и угрожающие факторы среды, в которой будет проводиться данная политика. Эти методы включают обзор региональных показателей, анализ значимых факторов окружающей среды, и оценку возможных вариантов подхода к проблеме.

Концептуальная карта: Методы определения результатов общественного воздействия, учитывающие мнение ‘акционеров’ (партнеров). Эти методы включают систематическое обсуждение для определения влияния вариантов политики и разработку ‘карты влияния’ взвешивая результаты оценки каждого партнера.

Цветовое голосование: Метод голосования, облегчающий выражение мнения участников по вопросу. Этот метод включает голосование по вопросам, при этом определенным ответам присваиваются определенные цвета от полного несогласия (красный) до полного согласия (зеленый).

Методы наблюдения за изменениями в оцениваемой области.

Индивидуальные опросы: Опросы организаций (например, компаний), на которые программа, как предполагается, окажет влияние, для сбора качественной информации. Этот метод может быть структурирован до различной степени.

Фокусная группа: Структурированное обсуждение с группой людей при необходимости рассмотрения различных мнений или глубокого рассмотрения сложных вопросов.

Исследование конкретных случаев: Глубокое исследование конкретных случаев (например, проектов, организаций) с использованием качественного и количественного анализа для изучения детального или сложного процесса или его результатов. Выбранные конкретные случаи обычно бывают представительными для широких слоев населения.

Методы анализа данных

Системы географической информации (GIS): Методы для сбора и представления данных по географическому положению. Все более используемые для целей мониторинга, эти системы, переведенные на язык баз данных, позволяют использовать перекрестные ссылки и составление карты социально-экономических данных для проведения оценки.

Сдвиговый анализ: Метод оценки сверху вниз для наблюдения тенденций на национальном региональном уровне, используемый для рассмотрения влияния политики в данном регионе. Эффекты политики определяются сравнением реальных ситуаций/тенденций в регионе (ситуация с работающей политикой) и прогнозируемой ситуацией, которая наблюдалась бы при следовании общегосударственной политике (ситуация с неработающей политикой).

Модель ввода-вывода: Составление матрицы, представляющей связи между ресурсами экономики и их потреблением, используется в основном для экономического прогнозирования. Этот метод может использоваться для оценки секторного влияния структурного воздействия, показывая связи между производительными структурами экономики и результатов политики в различных секторах.

Модель макроэкономики: Представление функционирования экономики в целом и различных составляющих рынков. Модели схематизируют функционирование экономики и моделируют развитие, вызванное внешними причинами. Этот метод используется для моделирования влияния различных сценариев общественного воздействия.

Методы для подведения итогов

Заседания экспертов: Заседание специально составленной рабочей группы экспертов, которые коллективно выносят суждение о программе. Этот метод используется для достижения консенсуса по сложным вопросам или если ресурсы для других методов оценки недоступны.

Многопараметрический анализ: Сравнительный анализ альтернативных проектов или мер для выработки общего решения по данному вопросу в соответствии с целым рядом критериев. Этот метод позволяет систематически рассматривать различные варианты с взвешиванием разных точек зрения.

Методы глубокого анализа проблемы оценки

Методы структурирования оценки

Логические рамки: Метод для быстрой оценки логической подоплеки события, определения ожидаемых эффектов и выработки показателей влияния. Этот метод используется для ex ante планирования проектов с четким выделением задач, связей, предположений, и критериев успеха на каждой стадии проекта.

Метаплан: Немецкая методика для структурирования групповых обсуждений. Этот метод включает работу на заседаниях групп, где рассматриваются различные точки зрения и вырабатывается общее представление проблемы и решения.

Методы наблюдения изменений в оцениваемой области

Анкетирование: Метод для задания ряда стандартных вопросов в структурированном формате некоей группе (например, компании), которая считается представительной для населения, включенного в анализ. Этот метод используется для сбора описательной, нормативной или причинной информации обычно путем почтовых, телефонных или личных опросов.

Этнографическое наблюдение: Метод наблюдения ежедневной деятельности представителей, выполняющих программу или бенефициариев. Этот метод используется для сбора глубинной информации о типичных ситуациях выполнения программы.

Методы анализа данных

Анализ факторов: Метод многомерного статистического анализа, используемый для сортировки больших количеств качественных данных относительно групп индивидуалов (например, компаний, проектов), которые дают информацию по различным характеристикам. Этот метод позволяет найти сходство или связи (факторы) между различными случаями и переменными.

Анализ Delphi: Итеративная процедура консультаций для опроса экспертов индивидуально и анонимно (анкетирование) для получения или тестирования оценочных рекомендаций.

Группы сравнения: Метод для сравнения группы участников программы (например, средние и малые предприятия, получающие поддержку) с похожей (контрольной) группой, не подвергающейся воздействию. Этот метод используется для оценки чистого эффекта общественного воздействия – результатов, непосредственно вызванных этим воздействием.

Регрессионный анализ: Количественная оценка влияния нескольких объясняемых факторов (например, политических мер) на переменную, которая должна быть определена (например, результат воздействия).

Методы для подведения итогов

Анализ стоимостной эффективности: Метод для оценки эффективности воздействия путем количественного сравнения с еще одним или более воздействиями. Этот метод используется для оценки эффективности программы относительно одного критерия, который рассматривается как ключевая задача программы.

Эталонное сравнение: Метод для оценки эффективности воздействия путем качественного сравнения с другим воздействием, которое считается эталонным. Этот метод включает выделение мер или проектов, признаваемых наиболее успешными, и использование их в качестве стандарта для сравнения и оценки других мер или проектов.

Анализ стоимостного выигрыша: Метод для оценки эффективности воздействия с учетом все эффектов и количественным синтезом. Этот метод используется для сравнения все воздействий общественного проекта во время его выполнения, когда результаты, даже очень различающиеся, могут быть выражены в денежном отношении.

Источник: Сокращенный вариант из CEC (1999)
 

4.1. Методы оценки

Страны – члены ЕС используют разнообразные методы для оценки мер региональной политики. Хотя некоторое сходство между ними дает возможность обсуждать общие методы, в различных странах не существует единого стандарта. Это можно увидеть на примере Швеции и Великобритании, то есть тех стран ЕС, где практика оценки региональной политики наиболее распространена. В Великобритании очень последовательно проводилась оценка Программы Региональной Выборочной Поддержки (область проведения основных оценочных исследований в Великобритании), в основном в связи с тем, что эти исследования проводились достаточно часто. Напротив, в методах и подходах, используемых для оценки схем стимуляции в Швеции, сознательной последовательности было мало.

Наиболее популярным инструментом оценки было опрашивание получателей отдельных грантов. Это часто происходило при использовании имеющихся внутренних данных, собранных путем процедур заявки и мониторинга административными властями. Например, в немецкой программе Vollzugskontrolle оценочные исследования основаны на данных, полученных из заявочных форм проекта. В некоторых странах это может быть дополнено простым почтовым или телефонным опросом, в основном как средство подтверждения уже имеющейся информации (что является обычной практикой в Греции).

Более детальные подходы были приняты в других странах для дополнения данных в тех случаях, когда источники информации бедны или недостоверны, или информация недостаточна. В этих случаях оценка часто бывает основана на более интенсивных методах опроса, таких как ‘глубокий опрос’ с исследованием конкретных представительных случаев, который был использован в некоторых процедурах оценки в Финляндии. Обширный опрос получателей грантов получается качественным, если деловое население мало, как в оценочный исследованиях Программы Малых Предприятий в Ирландии.

Оценочные исследования имеют тенденцию быть одновременными, в том смысле, что они редко являются частью долговременных исследований одного и того же представительного населения. Только в небольшом количестве исследований были использованы долговременные данные в трековых исследованиях для определения долговременного влияния поддержки бизнеса. Такой подход был применен в Германии (Rahmenplan) как наиболее эффективный путь проведения оценки. Было отслежено развитие фирм, получающих поддержку в течение более длительного периода, но это было проведено лишь однажды, в 1986 году, исследовательской группой Университета Трира. Более последовательно этот подход был применен в Великобритании при оценке ранее упомянутой схемы, Грантов Региональных предприятий, где оценка одних и тех же фирм проводилась дважды, в разное время, двумя независимыми группами консультантов. Это дало возможность сравнения результатов одних и тех же фирм во времени, что привело к более детальному пониманию влияния поддержки и долговременности ее результатов.

Большинство оценочных исследований должны предоставить цифры для набора показателей, отражающих как результаты, так и нужды оценки влияния программ. И то, и другое важно с точки зрения оценки – измерение результативности важно для обеспечения ‘справедливости’ и соответствующей ‘нацеленности’ программ, в то время как показатели влияния связаны с эффективностью программ. В целом, показатели результативности дают оценку размера фирмы, сектора ее занятости и типа проекта. Показатели влияния обычно фокусируются на аспектах, связанных с рабочей силой, особенно с созданием и сохранением рабочих мест (в оценке обычно проводится разграничение этих двух понятий). В некоторых оценках показатели занятости использовались с осторожностью, особенно при уменьшении этих цифр с учетом увольнений и ‘мертвых душ’. Очень мало оценок включают рассмотрение количественных показателей занятости, в основном по отношению к качеству или длительности работ (из-за недостатка данных). В некоторых случаях используются другие показатели влияния, не связанные с занятостью, такие как рост прибавочной стоимости в Голландской программе оценки Инвестиционной Премии.

4.2. Методологические вопросы

Как неоднократно указывалось в данном отчете, существует целый ряд существенных методологических проблем применительно к оценке. В большинстве своем, существующие методы оценки не адекватны наиболее важным проблемам. Они работают в пределах принятых методологических ограничений по ряду причин. Например, недостаточность ресурсов для преодоления некоторых трудностей, что часто является следствием ограниченности данных. Также сомнительно, могли ли исследователи региональной политики использовать совместные ресурсы или перенимать опыт друг у друга из-за самодостаточной и высокоспецифичной природы большинства оценок. В некоторых случаях методологические проблемы могут быть непреодолимыми (особенно при определении контрафактов регионального экономического развития). Тем не менее, было сделано несколько попыток преодолеть некоторые из проблем, связанные с оценкой региональной политики, особенно в отношении проблем определения временных периодов и расчетов реально измеренных чистых эффектов поддержки.

Во-первых, некоторые трудности в измерении влияния политики возникают из-за временных рамок исследования. Большинство оценочных исследований охватывают период в несколько лет в недавнем прошлом, но возникает проблема учета любых ‘нестандартных’ особенностей периода, которые могут исказить результаты (например, экономический спад). Достаточно короткий и недавний период также затрудняет оценку длительности эффектов, вызванных политическими мерами, хотя это проблема частично может быть решена использованием продольных исследований и долговременными обзорами.

Во-вторых, большая проблема контрафактов редко приводит к готовым решениям, учитывая количество и сложность взаимодействия переменных, определяемых ситуацию отдельных фирм и региональной экономики в целом. Тем не менее, некоторые исследования попытались решить эту проблему путем применения экспериментальных подходов к моделированию контрафактов. Например, в Швеции использовались контрольные группы в регионах, не получавших поддержку, для сравнения изменений занятости в фирмами в регионах, получавших таковую.

В третьих, ряд проблем был обнаружен при попытке определить чистый эффект мер региональной политики. Многие данные оказались ненадежными, особенно когда они основаны на непроверенных суждениях и оценке фирм, получающих поддержку (в заявочных формах и почтовых опросах). Кроме того, возникают проблемы в измерении цифр занятости, особенно при учете роли ‘мертвых душ’, увольнений и вопросов совместительства. Опять же, часто оценочные исследования использовали явный подход к проблеме. Например, в вышеупомянутых исследованиях Великобритании по программе Региональной Поддержки Предприятий была сделана попытка получить чистый эффект занятости, применяя несколько переменных – основанных на различных вышеупомянутых эффектах – из общих цифр по занятости, очевидно обусловленных поддержкой.

В заключение, очевидно, что в странах ЕС существует широкий ряд отношений и подходов к оценке региональной политики. Методологические проблемы значительны. В этом контексте следует отметить, что существует обширная литература по методам и приемам оценки региональной политики и только некоторые из вопросов были кратко приведены в данном отчете. Тем не менее, возобновление интереса к политике регионального развития требует продолжения вложений в развитие методов и исследований, если считать необходимым правильное понимание концептуальных, теоретических и организационных основ разработки и проведения региональной политики в странах – членах ЕС.
 

5. Оценочные программы регионального развития: опыт региональной политики ЕС

В предыдущих разделах отражены значительные различия в практике оценочной деятельности в странах ЕС по отношению к схемам региональной поддержки национальных правительств. Вторая область оценки региональной политики, а именно, Структурных Фондов ЕС, более однородна. Этот опыт связан с оценкой программ регионального развития стран ЕС и управляется специальными требованиями ЕС, где особое внимание уделяется улучшению мониторинга и оценки во всех странах ЕС.

В данном разделе исследуется мониторинг и оценка программ Структурного Фонда. Сначала дан обзор развития мониторинга и оценки за прошедшее десятилетие. Затем обсуждается процесс мониторинга с систематической оценкой успешной практики на различных стадиях выполнения программ с привлечением опыта различных программ ЕС (особенно в старых промышленных регионах). Наконец, оценка воздействия региональной политики ЕС рассматривается в сравнительной перспективе трех наиболее значительных актов оценки, проведенных за последнее десятилетие.

5.1. Развитие мониторинга и оценки на уровне ЕС

В прошлом систематический мониторинг и оценка региональной политики ЕС были очень ограничены (Bachtler and Michie, 1995; Eskelinen et al, 1997). До реформы Структурных Фондов 1988 года, считалось общепризнанным, что мониторинг и контроль региональных расходов ЕС были неадекватными. Частично причиной было первенство стран – членов ЕС в области регионального развития. В то время, Европейский Фонд Регионального Развития (ERDF) использовался для софинансирования проектов регионального развития, ограниченного рамками национальных бюджетов региональной политики. Кроме того, оценочные исследования были плохо координированы в рамках Европейской Комиссии. Различные службы Комиссии определяли свои собственные приоритеты и методологии при малом централизованном контроле или координации, и наблюдались конфликты между странами ЕС, имеющих различные ожидания и традиции оценочной деятельности и различные методологические подходы. Методы мониторинга и оценки были очень различны в рамках Европейского Сообщества, и общее руководство отсутствовало. Неравное распределение мощностей в ЕС связывалось с рядом ‘разделенных школ’, которые не давали никакой формализованной системы знаний (MEANS, 1993).

Реформа 1988 года привела к переоценке региональной политики ЕС, которая постепенно увеличивалась в размере, масштабе и точности (Bachtler and Michie, 1993). Являясь частью нового подхода, основанного на программе, реформа включала обширную систему мониторинга и оценки. Для каждой Структуры Поддержки Сообщества (СПС) и Действующей Программы (ДП) были создан Комитет по Мониторингу, состоящий из представителей национальных и региональных властей, и Комиссия. Устав 1988 года также устанавливал, что структурные операции должны быть подвергнуты ex ante и ex post анализу для выявления их влияния на приоритетные задачи (1-5b) и на конкретные структурные проблемы. Оценка должна была проводиться по трем уровням влияния:

• Общий эффект мероприятий Сообщества на усиление экономического и социального единства Сообщества;
• Эффект мероприятий по каждой СПС;
• Эффект отдельных мероприятий.

В программный период 1989-93 гг. структуры для мониторинга и оценки начали вводиться странами – членами ЕС и Европейской Комиссией. Однако и мониторинг, и оценка представляли собой один из наименее разработанных программных аспектов начального периода. Данных не хватало или не было вообще, не хватало целей и показателей, и систему мониторинга (по крайней мере, для физических показателей) были рудиментарными и несистематичными, и имели большое различие между регионами (Bachtler and Michie, 1995; Eskelinen et al, 1997).

Маастрихтский Договор поднял уровень экономического и социального соответствия и влияния политики Сообщества. На Эдинбургском Совете в 1992 г. было решено, что мониторингу и ex ante и ex post оценке должно придаваться большее значение. В новом Уставе, принятом в 1993 г., было проведено более четкое различие между тремя стадиями – оценкой, мониторингом и анализом (Bachtler and Michie, 1994). Что касается мониторинга, роль Комитетов по Мониторингу была усилена. Получая поддержку всего Сообщества, Комитеты имели возможность изменять в согласованных пределах процедуры предоставления поддержки и финансовые планы, включая перераспределение источников финансирования и изменения объема поддержки в пределах Сообщества. Относительно процедур оценки, было решено, что предварительная оценка и последующий ex post анализ должны стать более объектно-ориентированными, чтобы поддержка могла быть направлена туда, где предварительная оценка предсказывала экономическую и социальную отдачу от вложенных ресурсов в разумных временных рамках.

В новом Уставе указывалось, что страны – члены ЕС и Комиссия были ответственными за оценку и что обязанностью ‘компетентных властей’ стран ЕС было обеспечить наиболее эффективное проведение оценки и анализа. При сдаче планов регионального развития, страны ЕС должны были предоставить больше информации о текущей ситуации регионального развития, влиянии и эффективности мер, финансируемых Сообществом и предпринятыми в программный период 1989-93 гг., и ожидаемые задачи (если возможно, в количественном выражении) и эффект будущих операций.

За период 1994-96 и 1997-99 гг., была проведена большая работа по дальнейшему развитию. Причинами являлись более четкие цели, выраженные количественно, показатели мониторинга и оценки на всех уровнях программы, разграничение понятий отдачи и влияния, и более эффективный мониторинг и оценка организационных мероприятий, например, информационных систем по менеджменту. Службы Комиссии работали в тесном сотрудничестве с менеджерами программ и секретариатами для повышения количества и качества показателей и систем мониторинга. Программа MEANS обеспечила рекомендации по мониторингу, буклеты и руководство для менеджеров программ, а также поддержку для сотрудников, проводящих оценку. Комиссия организовала серию конференций по вопросам оценки (в Брюсселе, Берлине и Севилье) для развития идей мониторинга и оценки и обеспечения обмена опытом между регионами.

5.2. Практика мониторинга

Основной функцией систем мониторинга в большинстве стран ЕС является мониторинг финансовых расходов с целью аудита. Системы также используются как механизм финансового управления, ускоряя выпуск отчетов по финансированию проектов и отслеживая ход проектов, особенно ожидаемый график и физическую отдачу. Системы мониторинга адаптируются или разрабатываются для мониторинга физической отдачи и влияния. Эта проблема более сложна, так как ощущается недостаток данных и, кроме того, большинство аспектов влияния проявляются в более длительный период нежели выполнение проекта. Тем не менее, системы мониторинга все более используются для сбора информации по непосредственным результатам проекта, таким образом, они дают информацию, которая может оказаться важной для анализа текущих процессов выполнения программы. Менее вероятно, что мониторинг может дать информацию об объеме физической отдачи программы, на основе которой можно приблизительно рассчитать достижимые эффекты.

Чтобы информация мониторинга была полезной, необходимо, чтобы информация о физической отдаче и экономическом влиянии была действительно запрашиваема и затем рассмотрена в комплексе. Чтобы быть полностью обоснованной, достоверность данных мониторинга должна проверяться. Без программ инспекционных посещений трудно обеспечить правдивое соответствие реальности и информации мониторинга на уровне проекта, предоставляемой исполнителями.

Временные рамки мониторинга также важны. Понятно, что мониторинг должен охватить как можно больше прямых и кратковременных эффектов. Поскольку мониторинг может охватить только наиболее прямые эффекты (такие как создание рабочих мест, непосредственно связанное с выполнением проекта), желательно, чтобы все они были охвачены. Тем не менее, периоды выполнения программ обычно слишком коротки для того, чтобы охватить средне- и долговременные эффекты проектов; мониторинг обычно прекращается, когда представляется последний отчет в конце проекта. Следовательно, есть серьезный аргумент в пользу сбора информации во время как можно более длительного периода, например, путем опроса в качестве промежуточного источника информации прежде чем результаты ex post анализа будут доступны.

5.3. Практика оценки

Мониторинг является постоянным процессом, который все более (в идеале) становится неотъемлемой частью цикла выполнения программы или проекта. Оценка, которая сама по себе является событием периодическим, проводимая по ключевым моментам во время выполнения программы, может рассматриваться как элемент ‘продолжающегося’ процесса, основанного на данных мониторинга, для обеспечения своевременной дополнительной информации о деятельности в прошлом и рекомендации для ориентации на будущее. В следующих разделах представлен сравнительный анализ трех типов оценки, проводимой в рамках программ Структурного Фонда – до, во время и после выполнения программы – и делаются выводы из опыта оценки программ Задачи 2 в Европейском Сообществе.

5.3.1. Оценка еx ante

Устав 1993 г. заложил основу для наиболее систематического подхода к проблеме оценке. В начале 1994 г. были поданы планы регионального развития для программ Структурного Фонда. Каждый их этих планов и документов подвергся оценке ex ante в Европейской Комиссии. Ключевой чертой этого процесса была Структура Оценки Ex-Ante, образованная Координационным Советом по Оценке DG XVI.

Руководство начинается с требования качественного представления концепции, на основе которой определяются стратегия и задачи программы. Это включает анализ различий и задержки в развитии/конверсии и социально-экономических проблем, а также оценку основных результатов действий софинансируемых предыдущими СПС (опят предшествующих программ). Следующей стадией является определение общей стратегии регионального развития, основные направления развития, и определение конкретных задач каждого мероприятия с указанием их возможностей по решению данных проблем развития.

Краевым камнем руководства Комиссии по оценке ex ante (отражающим требования Устава) является требования количественного подхода и оценки задач. Главная задача здесь – разработать показатели, способные дать оценку ожидаемой эффективности на каждом значимом уровне. Для каждого направления развития, конкретная задача должна сопровождаться показателями, относящимися к основной инфраструктуре, продуктивной среде и развитию человеческих ресурсов. Ожидаемые достижения должны быть представлены с перечнем показателей, основных значений и целевых значений или, в отношении производительности, начальной ситуации и ожидаемой ситуации после выполнения проекта. Особое внимание уделялось оценке влияния окружающей среды, включая оценку окружающей среды в регионе, влияние окружающей среды на намечаемую стратегию, и влияние предполагаемых действий на окружающую среду. Отражая нужду предварительной оценки влияния, в руководстве также указывалось, что необходимы детали совместных эффектов ожидаемых в отношении социо-экономических преимуществ на уровне микроэкономики и макроэкономики. На языке руководства, это означает проведение общеэкономического анализа программы, логики ее структуры и взаимодействия ее компонентов.

Требование внешней связности было определено как та степень, до которой программа определяется политикой страны и Сообщества. Вопрос о связности включает три основных пункта: связь с политикой Сообщества, в особенности, по вопросам окружающей среды и соревнования; связи с национальной политикой – насколько стратегический подход программы и ее конкретные задачи усиливают национальную экономическую и структурную политику; и дополнительность – насколько программа обеспечивает увеличение общественных расходов.

Последним вопросом является выполнение программы, включающее вопросы партнерства – процедуры предварительной консультации и действия региональных социо-экономических факторов; юридический аспект – ведущие власти и владельцы программы; финансирование – национальные и региональные источники софинансирования; административная и финансовая организация – финансовый контроль, административные и финансовые схемы, и процедуры мониторинга и оценки.

5.3.2. Оценка еx post

На сегодняшний день, единственная полная оценка ex post Задачи 2 программ была подготовлена для Европейской Комиссии в 1996 г. и дает оценку программ 1989-93 гг. (Ernst & Young, 1997). Целью данной оценки являлось, во-первых, сравнение результатов, полученных в программные периоды 1989-91 и 1992-93 гг., с первоначальными задачами и, во-вторых, сбор информации, позволяющей улучшить функционирование продолжающихся и будущих программ.

Для получения обширного обзора для сравнительных целей, были собраны оценки ex post шестидесяти программ Задачи 2 за 1989-93 гг. и сведены в отчеты по восьми региональным группам (метрополис, промышленный юг и север, Северное море, Средиземноморье, Атлантика, Италия, и Великобритания). Эти отчеты, в свою очередь, Ernst & Young подготовили единый сводный отчет. Различные группы исследований сводились к единой методологии, чтобы обеспечить сравнимость, хотя требовалась адаптация в различных контекстах из-за многообразия доступной информации.

Исследования проводились в две стадии. Первая стадия, проводимая для всех программ Задачи 2, состояла из общей оценки ситуации в избранных областях до и после выполнения программ и обзоре доступных программных данных сверху вниз. Вторая стадия, предпринимаемая в каждой третьей программе, но фактически успешно проведенная в одной из шести программ, представляла собой глубокую оценку в направлении снизу вверх. Основной целью этой стадии была выработка необходимых проектных эмпирических данных, чтобы определить результат брутто (а затем и нетто) программных эффектов на занятость.

При оценке снизу вверх был использован ряд методов для оценки эффектов, связанных с занятостью, в зависимости от доступных данных. Данные по стоимость одного рабочего места были экстраполированы из данных проектов для получения общих цифр по программе. В более подробных исследованиях стоимость работы была рассчитана по-разному для различных видов воздействия Европейского Фонда Реконструкции и Развития (ЕФРР) и Европейского Структурного Фонда (ЕСФ) для получения более точных показателей брутто. Не все глубокие исследования включали расчет нетто значений занятости. Те исследования, в которых такая попытка была сделана, использовали информацию спонсоров проекта для определения и подтверждения предположений, связанных с совместительством, увольнениями, и непрямыми эффектами.

При глобальном оценочном синтезе использовались эффекты воздействия на занятость, определенные как в универсальных исследованиях сверху вниз, так и в выборочных глубоких исследованиях внизу вверх, в качестве основы для определения цифр, дающих оценку суммарного воздействия Задачи 2 в период 1989-93 гг. Исследования показали, что программы Задачи 2 играли значительную роль в процессе промышленной конверсии. Было показано, что программы помогли поддержать процесс структурного выравнивания в регионах, несмотря на неблагоприятные макроэкономические тенденции. Краткосрочные эффекты на проблему безработицы и более долговременный вклад в перестройку промышленности были весьма значительными. По оценкам, было создано, сохранено или перераспределено около 850000 рабочих мест, две трети из них благодаря действия ЕФРР и треть благодаря действиям ЕСФ. Распределение эффектов между странами ЕС в целом соответствовало распределению финансирования. Относительно чистых показателей, оценка показала, что было создано 450-500 тысяч рабочих мест, учитывая поправки на совместительство, увольнения и непрямые эффекты.

Кроме результатов по занятости, обнаружилось, что Структурные Фонды обладают также аккумулирующим эффектом: на каждые 1 MECU, выделяемые на программы Задачи 2, еще 3.4 MECU поступило от стран ЕС. Неколичественные эффекты были также значительны, особенно стимулы для развития регионального партнерства и способность планировать и управлять стратегией регионального развития. В частности, программы Задачи 2 привели к цельности (связности) стратегий регионального развития во многих регионах, чего раньше не наблюдалось. Тем не менее, хотя в целом уровень внешней связности был достаточно высок, программам Задачи 2 часто не хватало внутренней связности, в частности, по отношению к интеграции между ЕФРР и ЕСФ. Неспособность достичь или даже определить потенциальное взаимодействие между двумя Фондами связана в основном со структурой политики и с различием в конфигурации, истории, и учрежденческой структуре каждого Фонда. Что касается политической ориентации, значительная адаптация программ Задачи 2 произошла в программный период, в частности, на средней стадии, но это было связано скорее с максимальным использованием доступного финансирования, нежели с реакцией на изменение приоритетов регионального развития.

Прочие открытия связаны с вопросами исполнения программ и менеджментом. Во-первых, реформы Структурных Фондов 1988 г. дали толчок развитию процесса партнерства, были разработаны несколько моделей партнерства – модели со сравнительно небольшим количеством участников, преимуществом которых были большая связность и управляемость, и модели широкомасштабного партнерства, которые были более представительны, но и более трудно управляемы. Системы программного управления и менеджмента со временем улучшались. Тем не менее, во многих случаях они были плохо разработаны в начале программы и часто развивались медленнее, чем хотелось бы, поскольку жесткий график предполагал, что усилия были направлены в основном на выполнение программы, чем на установление формальных процедур принятия решений и мониторинга.

Важные уроки из оценки ex post можно извлечь из серии методологических проблем, которые возникали при практическом выполнении исследований, некоторые из них обусловлены природой оценки ex post, другие же возникали из-за неадекватности процедур мониторинга, администрирования и принятия решений, установленных в первый программный период или были связаны с характером самих выбранных регионов.

5.3.3. Промежуточная оценка

Среди трех видов оценки программ регионального развития стран ЕС, промежуточная оценка является наиболее важной во многих отношениях. Теоретически, это единственная стадия оценки, которая может оценить воздействие программы и одновременно влиять на ее проведение, ориентацию и баланс. С точки зрения стран ЕС, понятно, что промежуточная оценка является важной частью процесса мониторинга. Это четко указано в руководстве Комиссии по мониторингу и промежуточной оценке: “основной задачей промежуточной оценки является улучшение механизма мониторинга и разработка инструмента, который может оказаться полезным для принятия решений и эффективного менеджмента” (CEC, без даты).

Страны ЕС используют различные подходы к менеджменту и организации промежуточной оценки. Во Франции центральное правительство рекомендовало всем регионам основать комитеты, состоящие из специалистов, для наблюдения и управления оценочной деятельностью, такие комитеты являлись бы подразделениями Комитетов по Мониторингу. Эти рекомендации были только частично восприняты в регионах, участвующих в программах Задачи 2, и с переменным успехом. Подход ‘в пределах досягаемости’ был использован в Австрии, где все четыре программы Задачи 2 оценивались одной исследовательской группой и где единая рабочая группа была основана под руководством ЦROK. Схожие ситуации наблюдались в Нидерландах и Финляндии, но роль организационных групп здесь была более консультативной. В Финляндии также была проведена одна общая оценка всех регионов и была создана одна рабочая группа, представляющая министерства правительства, службы Комиссии, и группу, проводящую оценку. Наоборот, регионы в Германии, связанные с Задачей 2, использовали более прямой менеджерский подход. Малые регионы предприняли внутреннюю оценку, проводимую отделами правительств земель, ответственными за работу с Фондами. Более крупные программы Задачи 2 подвергались внешней оценке.

Цели и задачи отдельных стран и регионов Задачи 2 были различными, что являлось отражением политических и административных приоритетов программного менеджмента. На практике можно было определить шесть задач, представляющих различные уровни промежуточной оценки программ Задачи 2:

• Промежуточный мониторинг: измерение и оценка результатов, полученных на настоящий момент;
• Оценка воздействия: промежуточная оценка воздействий, которые поддаются оценке;
• Обзор значимости: переоценка соответствия программы и ее компонентов задачам программы;
• Оценка уровня менеджмента: оценка эффективности программного менеджмента, исполнения, и партнерских отношений;
• Разработка рамок оценки: выработка показателей или целей для подготовки к оценке ex post;
• Модификация программы: предложения по изменению или ‘коррективные действия’ по программе или ее частям в соответствии с результатами оценки.

В ретроспективе, промежуточная оценка программ Задачи 2 внесла большой вклад в понимание значения, цели, и методов проведения оценки на национальном, региональном и местном уровне. Масштаб и качество предпринимаемых оценочных исследований были значительно повышены, и региона могли продемонстрировать построение эффективных структур для сотрудничества в области оценки. Увеличение персонала, имеющего знания и понимание процесса оценки, улучшило возможности проведения оценочного анализа и полезности последнего, что в целом значительно повысило качество программ.

Регионы не были обязаны действовать в соответствии с результатами оценки, но есть несколько примеров, когда использование последних привело к улучшению менеджмента и выполнения программ. Среди нескольких программ Дании, Нидерландов и Франции, например, промежуточная оценка была проведена достаточно рано и могла повлиять на стратегическую цель и структуру программ 1997-99 гг., включая изменение стратегической ориентации программ и реорганизацию проблемных приоритетов и мер. Другой важный эффект промежуточной оценки состоял в повышении надежности программ при более широком региональном партнерстве; привлечение партнеров к проведению оценки предоставило возможность обмена информацией, что не могло быть обеспечено другим путем. Сопутствующий эффект был оказан на процедуры отбора проектов, открытость которых привела к тому, что в заявках более четко отражались суть, структура и содержание заявок проектов в соответствии с целями программы. Наконец, общим заключением промежуточных оценок была необходимость совершенствования систем мониторинга и оценки. Оценочные исследования привели к разработке новых систем мониторинга, определению новых показателей воздействия, и сопоставлению данных мониторинга, полученных с учетом новых показателей.

6. Выводы

Поскольку региональные политики в России разрабатывают идеи и модели новой региональной политики, было бы полезно использовать опыт стран ЕС относительно роли оценки, необходимости разработки эффективных систем мониторинга для поддержки оценочной деятельности, важности понимания оценки как составной части процесса, владению результатами оценки и необходимостью вложения средств для развития культуры оценки.

Во-первых, оценка может потенциально сыграть большую роль в разработке и менеджменте региональной политики. Несмотря на продолжающиеся споры по поводу концепций, систем показателей и методов оценки региональной политики и большие различия между странами ЕС в освоении практики оценки, политики и исследователи не сомневаются, что оценка может способствовать лучшему пониманию региональной политики. В частности, оценка региональной политики может увеличить эффективность и действенность политики и принимаемых мер, улучшить менеджмент политики и программ, увеличить отчетность правительства и внеправительственных организаций и проверить основные предположения, на которых основана региональная политика.

Во-вторых, как показывает опят Структурных Фондов ЕС, эффективная оценка требует эффективных систем мониторинга; качество результатов оценки зависит от наличия систем сбора точной, своевременной и обширной информации. Главный эффект мониторинга состоит в том, что он дает обоснованные данные, необходимые для наблюдения за ходом процесса (что важно в связи с жестким временным графиком распределения и расходования средств) и для выработки решения проблем. Далее, мониторинг помогает политикам и программным менеджерам в разработке более точных критериев отбора проектов и дает им основания для изменения политическим мер или программ.

В-третьих, оценку нужно рассматривать как процесс. Как указано выше, необходимо внедрять эффективную оценку в политический процесс, чтобы создать виртуальный круг проектирования, внедрения и оценки политики на каждой ступени. Политикам необходимо принимать во внимание оценку, когда они определяют задачи политики и показатели, которые указывают на успешное выполнение программ. Кроме систем мониторинга для сравнения необходимых данных, политики должна разработать методы для использования результатов оценки в разработке и проведении будущих проектов.

В-четвертых, влияние и применимость оценки частично связаны с владельцами процесса и результатов оценки. В случае региональных программ, где владельцами являются местные/региональные власти, результаты оценки используются более эффективно. Одним из главных достижений, полученных во многих регионах ЕС как результат проведения оценки, является лучшее качество региональных программ в рамках более широкого регионального партнерства. Само участие партнеров в процесс оценки дает положительный эффект, улучшая информационные каналы и увеличивая информированность о программах, проводимых в регионах.

Наконец, возможно, самый важный вывод этого отчета применительно к Российской политике, состоит в том, что развитие эффективных систем мониторинга и оценки требует солидных вложений и занимает некоторое время. Для введения ‘культуры’ оценки необходимо, чтобы все участники процесса – правительство, рабочая группа по проведению оценки, партнеры политического процесса и бенефициары – понимали, что такое эффективная разработка, проведение и использование оценки. Это требует планирования, информации, ресурсов, и умений за длительный период времени и в течение успешных ‘политических циклов’ для реализации потенциальных возможностей процесса оценки.

Благодарность

Исследования по опыту оценки в странах ЕС основаны на материалах, предоставленных Марией-Луизой Руни, Россом Брауном, Роной Мичи, Рут Даунз, Роной Фитцджеральд, Фионой Вишлейд и Дугласом Уиллом, и сводном материале, подготовленном Филиппом Рейнсом. Опыт оценки региональной политики ЕС был получен в исследованиях, поведенных совместно с Сандрой Тэйлор. Автор также выражает благодарность Дугласу Юиллу за ценные замечания в процессе работы и Мойре Лоу за редактирование нескольких вариантов отчета.

Литература

Allen K, Hull C and Yuill D (1979) Options in Regional Incentive Policy, in K Allen (Ed.) Balanced National Growth, Lexington Books, Toronto.

Armstrong H and Taylor J (1993) Regional Economics and Policy, Harvester Wheatsheaf, New York.

Armstrong H and Vickerman R (Eds.) (1995) Convergence and Divergence Among European Regions, European research in regional science, Pion, London.

Ashcroft B (1979) The Evaluation of Regional Economic Policy: The Case of the United Kingdom, in K Allen (Ed.) Balanced National Growth, Lexington Books, Toronto.

Asmacher C (1989) Regionale Strukturpolitik in der Bunderepublik Deutschland: Wirkungweise und zielkonforme Gestaltung, Beitrдge zum Siedlungs- und Wohnungswesen und zur Raumplanung, Band 129, Institut fьr Siedlungs-und Wohnungswesen, Mьnster.

Bachtler J, Downes R and Gorzelak G (Eds.) (2000) Transition, Cohesion and Regional Policy, Ashgate, Aldershot.

Bachtler J, Michie R and Downes R (1997) The Interim Evaluation of Objective 2 Programmes, IQ-Net Thematic Paper, 2(1), European Policies Research Centre, University of Strathclyde, Glasgow.

Bachtler J and Taylor S, with Kearney C (1996) Extended Synthesis of Agreed Single Programming Documents in Objective 2 Areas 1994-96, Report to the European Commission (DG XVI), European Policies Research Centre, University of Strathclyde, Glasgow.

Bachtler J and Michie R (1995) A New Era in EU Regional Policy Evaluation? The Appraisal of the Structural Funds, Regional Studies, 29 (8), 745-751.

Bachtler J and Michie R (1994) Strengthening Economic and Social Cohesion? The Revision of the Structural Funds, Regional Studies, 28 (8), 789-796.

Bachtler J and Michie R (1993) The Restructuring of Regional Policy in the European Community, Regional Studies, 27 (8), 719-725.

BAW (1997) Plдdoyet fьr einen realistischen Ungang mit Evalaierungen, Bremer Zeitschrift fьr Wirtschaftspolitik, 4/97, 5-49.

Bowen A and Mayhew K (1991) Regional Economic Disparities: Some Public Policy Issues, in A Bowen and K Mayhew (Eds.) Reducing Regional Inequalities, National Economic Development Office, Kogan Page, London.

CEC (1999) Evaluation design and management, Volume 1, MEANS Collection: Evaluating socio-economic programmes, Commission of the European Communities, OOPEC, Luxembourg.

CEC (1997) Evaluating EU expenditure programmes: A guide to ex-post and intermediate evaluations, Commission of the European Communities, OOPEC, Luxembourg.

CEC (1997) The New Regional Programmes 1997-99 under Objective 2 of the Community’s Structural Policies - Focusing on Job Creation, COM (97) 524 final, Commission of the European Communities, Brussels.

CEC (1995) Centre for European Evaluation Expertise, Information Note.

CEC (1993) Ex Ante Assessment Framework, Working Document from DG XVI, Commission of the European Communities, Brussels.

CEC (1992) Working Programme of the Commission on Structural Policy Evaluation Matters for 1992, internal Commission note (quoted in MEANS (1993).

CEC, Common Guide for Monitoring and Evaluation, Commission of the European Communities, Brussels.

Council Regulation (EEC) No. 2052/88 of 24 June 1988 on the tasks of the Structural Funds and their effectiveness and on co-ordination of their activities between themselves and with the operations of the European Investment Bank and other existing financial instruments.

Council Regulation (EEC) No. 4253/88 of 19 December 1988, laying down provisions for implementing Regulation (EEC) No 2052/88 as regards co-ordination of the activities of the different Structural Funds between themselves and with the operations of the European Investment Bank and other existing financial instruments.

Depuis J (1998) L’йvaluation des Politiques Publiques Locales: йditions de ‘la lettre du cadre territorial’, Voiron.

Diamond D and Spence N (1983) Regional Policy Evaluation: A Methodological Review and the Scottish Example, Gower, Aldershot.

Ernst & Young (1997) Ex-Post Evaluation of the 1989-1993 Objective 2 Programme: Synthesis Report, DG XVI Series: Evaluation and Documents, No 4, Commission of the European Communities, Brussels.

Eskelinen H, Kokkonen M and Virkkala S (1997) Appraisal of the Finnish Objective 2 Programme: Reflections on the EU Approach to Regional Policy, Regional Studies, 31 (2), 167-172.

Gornig M and Toepel (1998) Methoden and Ergebrisse der Evaluierung Wettsewerbsorien –tiertes Fцrdermethoden in der Regional politik, Vierteljahrshefte zur Wirtschaftslfs Forschung, 67 (3), 153-164.

Gorzelak G (1996) The Regional Dimension of Transformation in Central Europe, Jessica Kingsley Publishers, London.

Gorzelak H, Jalowiecki B and Kuklinski A (1992) Restructuring of Polish regions in a European context, in G Gorzelak G and Kuklinski A (eds.) Dilemmas of Regional Policy in Central and Eastern Europe, European Institute for Regional and Local Development, University of Warsaw.

Kearney C, Taylor S and Bachtler J (1996) Monitoring and Evaluation in Objective 2 Programmes: Progress and Challenges, IQ-Net Thematic Paper, 1(2), European Policies Research Centre, University of Strathclyde, Glasgow.

Lovering J (1999) Theory by policy: the inadequacies of the ‘New Regionalism’ (illustrated from the case of Wales), International Journal.

Mairate A and Hall R (1999) European Union structural policies and cohesion: evaluation and outlook, mimeo.

Martin R (1999) The Regional Dimension in European Public Policy: Convergence or Divergence?, Macmillan, Basingstoke.

McCrone G (1969) Regional Policy in Britain, George Allen and Unwin, London.

McNab G L (1991) Evaluation Quality: A Guide for Auditing the Quality of Program Evaluations, Office of the Auditor General, Canada (mimeo).

MEANS (1995) Organising Intermediate Evaluation in the Context of Partnerships, Practical Advice for Programme Managers, MEANS Handbook No. 1, Commission of the European Communities - C3E, Lyon.

MEANS (1994) How should structuring effects be evaluated? State of methodological debates, MEANS/94/03/EN. CEOPS, Vaulx-en-Velin.

Neupert H (1986) Regionale Strukturpolitik als Aufgabe der Lдnder: Grundlagen, Verknьpfungen, Grenzen, Nomis, Baden-Baden.

Nirup C (1999) Review of Jйrфme Depuis (1998) L’йvaluation (as above), Evaluation, 6 (1), 97-107.

Sabel C F (2000) Democratic experimentalism: what to do about wicked problems after Whitehall, Paper to the OECD International Conference Devolution and Globalisation – Implications for Local Decision-Makers, 28-29 February 2000, Glasgow.

Savoie D J (1986) Regional economic development: Canada’s search for solutions, University of Toronto Press, Toronto.

Stцhr W (1989) Regional policy at the crossroads: an overview, in L Albrechts, F Moulaert, P Roberts and Eric Swyngedouw (1989) Regional policy at the crossroads: European perspectives, Jessica Kingsley Publishers, London

Taylor S (1998) Objective 2 in Aquitaine, IQ-Net Thematic Paper, 4(4), European Policies Research Centre, University of Strathclyde, Glasgow.

Vanhove N (1999) Regional Policy: A European Approach, 3^rd Edition, Ashgate, Aldershot.

Wadley D (1986) Restructuring the Regions: Analysis, Policy Model and Prognosis, OECD, Paris.

---