Текст книги "Политическая наука №1 / 2013. Политическое участие в условиях сетевого общества"

Таблица 4

Обзор критериев оценки проектов в 2003–2009 гг.

* Звездочкой отмечены ключевые для каждого конкурса критерии (полученные по ним баллы ценились весомее).

** Этот критерий был введен в 2007 г. (в основном, для улучшения возможностей презентации проектов на портале epractice.eu; в 2009 г. была произведена ревизия критерия для усиления коммуникационной стратегии самих проектов).

Источник: [Beyond good practice, 2010, p. 25].

Соответствие проектов условиям конкурса определялось по следующим критериям [European eGovernment Awards, 2009]:

a. Проект должен быть реализован в стране Евросоюза, стране – кандидате на вступление в Евросоюз либо в стране – участнице соглашения о зоне свободной торговли Европы.

b. Проект (включая его веб-сайт, электронные услуги и представленные технические и организационные решения) должен быть работающим (т.е. планы, пилотные и экспериментальные проекты к представлению на конкурс не допускаются).

c. Заявка должна быть подана государственным учреждением (так называемый первый заявитель), но может быть поддержана внешними партнерами. Однако первый заявитель должен недвусмысленно нести ответственность за заявку.

d. Проект должен быть хорошо описан (т.е. все требуемые поля в заявке должны быть заполнены содержательной, актуальной и убедительной информацией).

e. Информация должна быть представлена независимо от того, участвовал ли проект в предыдущих конкурсах в 2003, 2005 и / или 2007 гг. В случае повторной заявки информация должна содержать описание прогресса со времени первой подачи2222
  Этот критерий начал действовать с 2005 г.


[Закрыть].

Критерий соответствия «b» требует, чтобы проект был «работающим». Все пилотные и исследовательские проекты, а также проекты на стадии испытания были исключены из участия в конкурсе. Что означает «использование» или «минимальное использование» проекта, не определялось. Однако оценочный критерий «воздействие» (см. табл. 4), имевший вес 25% в 2009 г., подразумевал «использование». Руководство по представлению заявок определяет этот критерий следующим образом: «Критерий отвечает на вопрос: “В чем состоят основные результаты, воздействие и польза (в количественном и качественном выражении) для всех заинтересованных сторон, включая административную систему?”» А именно:

(1) Опишите, каким методом или способом, если таковые были, измерялось воздействие.

(2) Предоставьте данные (качественные, например удовлетворенность пользователей, и количественные, например уровень пользования услугами, полученная экономия и т.д.) об основных результатах.

(3) Вопросы дальнейшей устойчивости проекта также должны быть включены. В этом контексте должна быть рассмотрена устойчивость проекта» [European eGovernment Awards, 2009].

Даже беглый взгляд на проекты – победители конкурса 2009 г. показывает, что в целом масштаб использования проектов, определяемый через принятие гражданами, не очень волнует их создателей / спонсоров:

• EU-OPA – приложение «Европейский порядок платежей» по трансграничным денежным искам, используемое в сфере правосудия, – совместный австро-германский проект. Его использование, как и большинства приложений для государственных трансакций, таких как уплата налогов или таможенное оформление, было скорее принудительным, чем добровольным.

• Genvej – портал датского муниципалитета Гентофте. Создатели проекта признают, что по состоянию на июнь 2009 г. из 52 536 лиц старше 18 лет, проживающих в Гентофте, и 31 706 домохозяйств только около 4600 домохозяйств были реальными пользователями портала. Авторы проекта не объясняют, почему домохозяйства, а не жители муниципалитета учитывались как бенефициары проекта. Одной из причин, возможно, было то, что при подсчете для домохозяйств процент охвата составляет 14,5%, тогда как для граждан – всего 8,76%. Это заставляет задуматься о следующем:

◦ Было ли использование портала устойчивым или же в число 4600 «пользователей» включались и те, кто только раз зашел на портал.

◦ Является ли цифра 4600 точной или округленной.

◦ Остаются ли годовые расходы по поддержанию портала, указанные в диапазоне от 49 тыс. до 299 тыс. евро (что составляет от 10,65 евро до 65 евро на одного пользователя в год), постоянными.

• MEPA (the Public Administration eMarketplace) – итальянский проект электронного рынка системы государственного управления. Утверждается, что за шесть лет существования проекта через него, как заявляют организаторы, было проведено 63 тыс. трансакций на сумму 179 млн. евро. Австрийский партнер проекта – Федеральное агентство закупок (BBG), номинированный в другой категории, – заявил о 870 млн. евро в том же самом 2009 г.2323
  См. на 30 апреля 2011 г. [Unternehmen. – Mode of access: http://www.bbg.gv.at/ueber-uns/unternehmen/ (Дата посещения: 02.12.12.)]. – Прим. ред.


[Закрыть] Учитывая, что размер итальянской экономики и государственного сектора значительно больше австрийского, такой охват пользователей уже не представляется впечатляющим.

• Португальская система выдачи лицензий для охотников через банкоматы выглядит наиболее убедительным проектом с точки зрения охвата конечных пользователей: 80% выданных лицензий было проведено через эту систему, что безусловно является хорошим результатом.

• Обладатель Приза симпатий публики 2009 г., выявленный через интернет-голосование на портале Еврокомиссии ePractice.eu2424
  [Home | ePractice. – Mode of access: http://www.epractice.eu]. – Прим. ред.


[Закрыть] из числа 52 финалистов [Beyond good practice, 2010], турецкая система информирования адвокатов и граждан о датах судебных разбирательств заявила, что ее пользователями являются 81 742 человека. Но если принять во внимание, что население Турции составляет порядка 78 млн. человек, то этот результат едва ли можно считать удовлетворительным.

Экономические критерии оценки, как, например, расчет чистой приведенной стоимости (net present value calculation) или другие методы, не являлись обязательными (но рекомендовались как дополнительный плюс) для демонстрации результативности и полезности проекта [European eGovernment Awards, 2009].

Программа Европейского конкурса э-правительства прекратила свое существование с появлением новой социально-экономической стратегии Евросоюза «Европа 2020» [European Commission: EUROPE 2020, 2010]. Опросы участников программы, проведенные в 2005, 2007 и 2009 гг., выявили наличие консенсуса о необходимости продолжения конкурса. Как считают респонденты, конкурс служил эффективным стимулом для обмена положительным опытом внедрения э-правительства для всех стран Евросоюза в течение почти десяти лет в соответствии с Лиссабонской стратегией в целом и Европейской концепцией э-правительства в частности.

В 2011 г. Еврокомиссия приняла принцип выдвижения кандидатов для представления на конкурс на «лучшую практику» на 6-й Европейской конференции по э-правительству в Познани по выбору самих стран 2525
  Каждая страна – член Евросоюза абсолютно свободна в выборе метода выявления и выдвижения лучших кандидатов на национальном уровне [См.: 6 th European ministerial eGovernment conference borderless egovernment services for Europeans. – Mode of access: http://www.egov2011.pl/]. – Прим. ред.


[Закрыть]. Следует отметить в связи c этим, что участники проведенного опроса рекомендовали не «политизировать» процесс отбора, а предложить оценку проектов независимыми экспертами на общеевропейском уровне [Beyond good practice, 2010, p. 53–54]. Главными преимуществами такой оценки они считали уникальную возможность сетевого взаимодействия и структурированного обмена опытом по всей Европе в рамках конкурса и обеспечение доступа к данным для анализа достигнутого прогресса [Beyond good practice, 2010, p. 39–57]. Стратегическая цель конкурса состояла в продвижении трансграничных услуг и систем э-правительства для укрепления единого европейского рынка и унификации систем и практик государственного управления в соответствии с масштабными пилотными проектами Евросоюза по созданию трансграничного э-правительства, финансируемыми программой «Конкурентоспособность и инновации»2626
  См.: All editions. Build, connect, grow. – Mode of access: http://www.buildconnectgrow.eu/en/all-editions (Дата посещения: 02.12.2012.). – Прим. ред.


[Закрыть].

Выводы

1. Использование созданного ресурса и устойчивость проекта не всегда служили основными критериями отбора проектов э-правительства для участия в конкурсе.

2. В 2011 г. конкурс был заменен выдвижением кандидатов на «лучшую практику»2727
  Это, скорее, Европейская инициатива лучшей практики в электронном правительстве.


[Закрыть] по рекомендации самих стран-участников вместо отбора по результатам экспертной оценки с использованием анкет и жестких критериев. В сентябре 2012 г. Европейская комиссия дала старт новой конкурсной схеме для стимулирования инноваций в публичном администрировании в поддержку стратегии Европа 20202828
  Европейский приз за инновацию в публичном администрировании (European Prize for Innovation in Public Administration) [См.: European prize for innovation in public administration. – Mode of access: http://ec.europa.eu/research/ innovation-union/index_en.cfm?section=admin-innovators (Дата посещения: 02.12.2012.)]. – Прим. ред.


[Закрыть].

2.2. Швейцарская модель оценки э-правительства2929
  Эта методология также включает проекты электронного участия, по крайней мере в понимании правительств, которые эти проекты представляют (это происходит в большинстве случаев).


[Закрыть]

Швейцарский федеральный департамент финансов инициировал интересный конкурс, используя предложение Бернского университета прикладных наук (Eidgenössichses Finanzdepartment 2009)3030
  См. коллективное исследование [Neuroni, Spichiger, Riedl, 2010; Neuroni, Rascуn, Spichiger, Riedl, 2010; Spichiger, Rascуn, Neuroni, Riedl, 2010].


[Закрыть]. Новая модель оценки проектов исходит из того факта, что более чем в половине случаев польза и преимущества электронного управления не могут быть выражены в монетарной форме. Модель учитывает такие качества проекта, как:

• бережливость – экономное использование бюджетных средств;

• эффективность – минимизация затрат;

• экономичность – обеспечение оптимального баланса между затратами и результатом;

• трансформация – обеспечение сетевого эффекта за пределами проекта.

В центре внимания находятся выбранная стратегия и заинтересованные стороны. Сам метод оценки состоит из следующей последовательности шагов.

1. Проверка наличия стратегического контента и оценочных критериев.

2. Финансовая оценка с расчетом экономической пользы для общества посредством вычисления чистой приведенной стоимости, анализа рисков и чувствительности (к воздействию внешних факторов), т.е. классических инструментов анализа, используемых в экономической науке.

3. Качественная оценка с анализом внеэкономического эффекта. 4. Ранжирование проектов.

Мы считаем такой подход интересным, поскольку он напрямую связывает ресурсы, вкладываемые в создание (и поддержание) проектных инициатив, с получением конкретного результата. Как было указано выше, до сих пор это не всегда получалось в оценке многих проектов э-правительства.

2.3. Базовые условия оценивания проектов по э-управлению

В исследовательском отчете для Европейского конкурса э-правительства – 2005 дан первичный анализ по 15 заявкам, попавшим в шорт-лист, с использованием оценочной системы проекта eGovernment Economics Project3131
  Проект eGovernment Economics Project (eGEP) был основан Европейской комиссией [см.: eGovernment economics project, 2006].


[Закрыть]. Система основывается на ценностных критериях, способствующих улучшению ответственного управления обществом, что особенно важно в контексте э-участия. А именно: на «открытости и участии», «прозрачности и подотчетности», а также на способности публичных администраций разного уровня взаимодействовать друг с другом. Умеренная обратная корреляция была обнаружена между фактором ответственного управления и фактором эффективности. Такое положение дел можно объяснить внеэкономическими целями проектов, т.е. инициативы, которые нацелены на формирование новых общественно значимых ценностей, каковой и является более демократичное управление, зачастую сопровождаются дополнительными административными расходами на начальной стадии. По мере того как проект переходит в более зрелую фазу, затраты на его поддержание становятся сопоставимыми с финансовой выгодой [Leitner, 2010].

Мы осознаем, что измерение успешности некоммерческих проектов, таких как проекты э-участия, является трудной задачей. Всестороннее обсуждение проблем, связанных с определением успеха на основе определенных допущений, освещается в работе Мюллера-Торока и Фасрайнера [Müller-Török, Fassrainer, 2011]. По результатам проведенного выше анализа мы рекомендуем соблюдение следующих условий в оценке успешности проектов э-участия.

1. Критерии успешности должны быть сформулированы до начала проекта э-участия.

2. Если критерии успеха не определены заранее, то по крайней мере должны соблюдаться (и, соответственно, быть отражены в любой концепции оценки в качестве базовых) некоторые минимальные требования, а именно:

a) долговременная устойчивость, т.е. итоговый продукт проекта (платформа, процесс и т.п.) должен использоваться не один раз; это требование исключит такие «одноразовые» проекты, как, например, проект э-голосования, созданный для Австрийского студенческого союза в 2009 г.3232
  Австрийский федеральный министр науки объявил, что на выборах в 2011 г. технологическая платформа не будет использована [см.: Karl: E-Voting… 2011].


[Закрыть]; должна быть предусмотрена возможность управления или обслуживания платформы3333
  Например, Пиратская партия Германии столкнулась с проблемой управления своей платформы Liquid Feedback [Reinbold, 2012].


[Закрыть];

b) использование / пользователи. Значительная часть целевой группы пользователей должна фактически участвовать в проекте. Должно быть определено заранее, что считается «значительной частью» в контексте конкретного проекта (см. п. 1);

c) добавленная общественная польза (Public Value Added – PVA) в сравнении с традиционным офлайновым решением (статусом). «Общественная польза в самом широком смысле фокусирует наше внимание на индивидуальных и социетальных интересах, которые удовлетворяются определенными институциональными формами и действиями власти» [Harrison, et al, 2012, p. 90]. Харрисон и др. различают несколько типов общественной пользы: экономическая, политическая, социальная, стратегическая, качество жизни, идеологическая, организационная (stewardship) [Harrison, et al, 2012, p. 90–91]3434
  Харрисон и его соавторы выделяют также пять типов движущих сил, определяющих общественно значимую ценность: результативность, эффективность, прозрачность, сотрудничество, (со)участие [Harrison, 2012, p. 91].


[Закрыть]. В отсутствие такого рода ценности требуется значительное увеличение эффективности в терминах использования ресурсов (в частности, затрат).

3. Любая рамочная структура оценки проектов э-участия должна опираться на независимых экспертов и / или организации, которые не были вовлечены в реализацию проекта. Это необходимо для исключения самооценивания, как в случае с упомянутым выше австрийским проектом интернет-голосования, когда официальная оценка проекта проводилась организациями, выполняющими его [Bundesministerium f́ür Wissenschaft und Forschung, 2009]3535
  См.: Ответы федерального министра науки на вопросы парламентского запроса 22 августа 2009 г., 9 мая 2010 г., 12 апреля 2010 г.


[Закрыть].

Мы полагаем, что экономические критерии должны являться обязательной частью любой методологии оценки проектов э-участия. Несмотря на политическую природу таких проектов, следует обращать внимание на рациональное использование бюджетных средств, даже если не всегда оказывается возможным задать количественные параметры оценки экономического эффекта. В последнее время многие проекты э-участия не учитывают это требование. Так, например, австрийский проект Jugend2 Help сумел набрал всего лишь несколько сотен постов от нескольких сотен молодых людей из почти 1 млн. целевой аудитории3636
  Официальная статистика приводит цифру в 791 528 молодежи в возрасте от 13 до 20 лет. См. на 30 апреля 2011 г. [Jahresdurchschnittsbevölkerung 2011 nach Alter und Bundesland – Insgesamt. – Mode of access: http://www.statistik.at/web_de/statistiken/bevoelkerung/bevoelkerungsstruktur/bevoelkerung_nach_alter_geschlecht/023428.html (Дата посещения: 02.12.2012.)]. – Прим. ред.


[Закрыть]. Если учесть, что проект обошелся в более чем 100 тыс. евро3737
  Как и для большинства проектов электронного правительства, точные цифры расходов неизвестны. Судя по данным, касающимся партнеров проекта Jugend2 Help, его продолжительности и количества вовлеченного персонала, мы предполагаем, что по консервативному подсчету общая стоимость проекта составила как минимум 100 тыс. евро (в реальности она была, вероятно, выше).


[Закрыть], возникают вопросы о степени успешности проекта с таким низким коэффициентом стоимость – результат.

3. Методологические подходы к оценке проектов э-участия

Существует множество методологий измерения и индикаторов, широко используемых в разных странах3838
  Интересные примеры были продемонстрированы на встрече э-лидеров со стороны Кореи, Мексики, Египта. Корея, как и другие страны, использует очень тщательно выстроенную и всестороннюю систему индексов по пользованию услугами, зрелости инфраструктуры, безопасности (включая защиту персональных данных), общественной пользы (показатели цифровой культуры, цифрового разрыва, интернет-наркомании).


[Закрыть]. Ключевым, по мнению экспертов ОЭСР, является вопрос «Что мы в действительности измеряем?» [Leitner, 2010]. Измерение результативности (performance) предполагает оценку того, насколько была реализована обещанная польза. Это означает, что все начинается с определения концепции и целей. Проблемой в оценке проектов э-правительства является не только сбор данных и проверка их достоверности, но и отсутствие общих для всех стран ключевых индикаторов результативности (key performance indicators – KPIs), что весьма затрудняет сравнение. Индикаторы должны быть надежны, релевантны и сравнимы. Пока же имеется слишком много различий в дефинициях, моделях, технических платформах, приоритетах услуг, в политических, организационных и управленческих структурах. Наряду с акцентом на пользовательский интерфейс (front-end), инфрастуктурно-организационные аспекты (back-end) и финансовую сторону, индикаторы должны отражать пользу проекта для всех заинтересованных сторон. Такие индикаторы должны использоваться для мониторинга, анализа и сравнения. Даже если ранжирование может служить стимулом для улучшения, следует осторожно подходить к его использованию, поскольку оно может привести к искажению реальной картины. На макроуровне индикаторы измерения должны прежде всего отражать возможность совместного участия и приобретения нового знания в качестве главной цели [Leitner, 2010].

Мнение экспертов ОЭСР подтверждает, что в настоящее время оценка проектов э-участия происходит по доброй воле их спонсоров / собственников. Даже если самооценивание следует рассматривать как пример «худшей практики», оно все же лучше, чем отсутствие оценки вообще.

Исходя из вышесказанного, авторы предлагают, что для всех проектов э-участия должна проводиться ex-post оценка с учетом следующих минимальных требований:

1) независимые эксперты должны иметь доступ к проектной документации;

2) должны оцениваться долговременная устойчивость проекта, масштаб его использования и добавленная польза для общества;

3) результаты оценки должны быть опубликованы.

Реализация данного предложения приведет к созданию более надежной основы для принятия решений по инициативам э-участия в будущем.

Выводы

Технологии, позволяющие гражданам участвовать в общественно-политической жизни, лежат в основе программ административных реформ, а также политики и тенденций Открытого правительства [E-Partizipation in der ́öffenlichen Verwaltung, 2011]. За последнее десятилетие повсюду в Европейском союзе было реализовано множество проектов по э-участию, большинство из них продвигались «сверху – вниз» органами власти разных уровней. Однако многие из этих проектов так и не оправдали возлагавшихся на них надежд. Более того, в Евросоюзе отсутствует общее понимание того, что относится к э-участию, нет общепринятых критериев для измерения успешности проектов э-участия и отсутствует обязательная практика оценки успешности того или иного проекта.

Проанализировав проекты, реализованные в Австрии в 2000– 2009 гг., мы так и не смогли обнаружить наличие какой-либо стандартной и обязательной для всех методологии проведения их оценки. Поэтому решение вопроса об успешности или неудаче того или иного проекта было оставлено на усмотрение общественности.

Используя существующие методологии оценки примеров полезного опыта (good practice), мы проанализировали методологию, применявшуюся на Европейском конкурсе лучших инициатив в области э-правительства, а также опыт текущих исследований в Швейцарии. Предлагаем подход к оценке проектов э-участия, основанный на следующих критериях: устойчивость результатов проекта, охват проекта и применяемость его продуктов (услуг) конечными пользователями (частота и масштаб использования), а также общественно значимая польза. Исходя из этого анализа, мы предложили подход к оценке проектов э-участия, основанный на следующих обязательных критериях: устойчивость, используемость (количество пользователей и частота обращения), а также категория, которую мы обозначили как «добавленная ценность для общества» (Public Value Added).

Мы рекомендуем проведение независимой оценки в качестве обязательной процедуры для всех финансируемых из денег налогоплательщиков. Это позволит политикам принимать решения на основе четко определенных целей проекта и ожидаемых результатов.

Мы отдаем себе отчет в том, что многие из проектов, которые рассматривались в настоящей статье, были запущены с целью тестирования новых технологий и накопления соответствующего опыта их использования в принятии решений, оказании государственных услуг и в административных процессах, как это предусматривалось Европейским планом действий по развитию э-правительства. В основном мы опирались на опыт Австрии как страны, занимающей лидирующие позиции в Евросоюзе, подтверждаемые результатами Европейского конкурса последних лет. Тем не менее мы полагаем, что этап проб и ошибок подошел к концу и проекты э-участия – как и другие публичные проекты – следует оценивать по их реальным результатам в достижении поставленных целей независимо и беспристрастно на основе четкой методологии. Только такой подход позволит отделить зерна от плевел и таким образом содействовать укреплению демократии, улучшению услуг и качества правления на уровне стран-участников и Евросоюза в интересах граждан и гражданского общества в целом.

Литература

Beyond good practice: The case for the eGovernment Awards 2.0, European eGovernment Awards 2009. Research report / Leitner C. (ed.). – Vilnius, 2010. – 72 p. – Mode of access: http://www.donau-uni.ac.at/imperia/md/images/department/gpa/verwaltung/final_report_2009_4112010.pdf (Дата посещения: 03.12.2012.)

Bundesministerium für Wissenschaft und Forschung: E-Voting bei den Hochschülerinnen– und Hochschülerschaftswahlen 2009: Evaluierungsbericht. – Wien, 2009. – 74 S.

eGovernment economics project (eGEP). Measurement framework final version / European commission. – 2006. – 67 p. – Mode of access: http://www.epractice. eu/files/media/media1299.pdf (Дата посещения: 02.12.2012.)

eGovernment in Europe: The State of Affairs. Report presented at the eGovernment Conference 2003, Como, Italy, 7–8 July / Leitner, C. (ed.). – European institute of public administration (EIPA), Maastricht, 2003. – 72 p.

Eidgenössichses Finanzdepartment: Konzept eines homogenen Berechnungsmodells zur Ermittlung der Wirtschaftlichkeit und des qualitativen Nutzens von E-Government-Vorhaben, Wettbewerbsbeitrag der Berner Fachhochschule, Kompetenzzentrum Public Management und E-Government (PEG). – Bern, 2009. – 28 S.

E-Partizipation in der öffenlichen Verwaltung. Abschlussbericht zur gemeinsamen Studie. – Hochschule Harz (FH), MATERNA GmbH, 2011. – 52 S. – Mode of access: http://egov.hs-harz.de/optimuse/images/documents/ePart-Studie2011_web.pdf (Дата посещения: 15.9.2012.)

European Commission: EUROPE 2020: A strategy for smart, sustainable and inclusive growth, COM (2010) 2020. – Brussels, 2010. – 28 p. – Mode of access: http://ec.europa.eu/eu2020/pdf/Brochure%20Integrated%20Guidelines.pdf (Дата посещения: 15.11.2012.)

European eGovernment Awards 2009 – Guidance Notes for Submission, 2009. – Brussels, 2009. – 36 p. – Mode of access: http://www.epractice.eu/files/download/awards/guidancenotes2009.pdf (Дата посещения: 15.11.2012.)

Harrison T.M., Guerrero S., Burke G.B., Cook M., Cresswell A., Helbig N., Hrdinová J., Pardo T. Open government and e-government: Democratic challenges from a public value perspective // Information polity. – 2012. – Vol. 17, N 2. – P. 83–97.

i2010 eGovernment Action Plan: Accelerating eGovernment in Europe for the benefit of all. – Brussels, 2006. – 25 April. – 12 p. – Mode of access: http://eur-lex.europa.eu/LexUriServ/LexUriServ.do?uri=COM:2006:0173:FIN:EN:PDF (Дата посещения: 15.11.2012.)

Karl: E-Voting wird 2011 nicht mehr eingesetzt // Der Standard. – 2011. – 3 Mдrz. – Mode of access: http://derstandard.at/1269448836558/Standard-Interview-Karl-E-Voting-wird-2011-nicht-mehr-eingesetzt (Дата посещения: 02.12.2012.)

Leitner C. E-Participation / European eGovernment 2005–2007: Taking stock of good practice and progress towards implementation of the i2010 eGovernment action plan. – Vilnius, 2007. – P. 67–77.

Leitner C. OECD e-leaders, meeting notes of the rapporteur. – Brussels, 2010.

Müller-Török R., Eckl C.M. Gv-initiierte E-Partizipations– und E-Initiatives-Plattformen vs. privat initiierte Plattformen – Ein Vergleich aus Benutzer– bzw. Bürgersicht // 13. Internationales Rechtsinformatik Symposion, IRIS 2010. – OCG Schriftenreihe, Wien, 2010. – S. 126–127.

Müller-Türük R., Fassrainer W. Erfolgskriterien für E-Government-Projekte – Eine Analyse aus Sicht von Philosophie und Wirtschaftswissenschaften // 14. Internationales Rechtsinformatik Symposion, IRIS 2011. – OCG Schriftenreihe, Wien, 2011. – S. 245–252.

Neuroni A.C., Spichiger A., Riedl R. Assessing and evaluating value and cost effectiveness of e-Government initiatives: Initial measurement framework and overall data collection evaluation / Proceedings of the 9 th International Conference EGOV 2010. – Lausanne, Univ. Triera, 2010. – August 29 – September 2.

Neuroni A., Rascуn A., Spichiger A., Riedl R. Assessing and evaluating value and cost effectiveness of e-Government initiatives: Focusing the step of the financial evaluation // 11 th International digital government research conference (dg.o 2010). – Massachusetts, 2010. – P. 105–111.

Panopoulou E., Tambouris E., Tarabanis K. eParticipation initiatives: How is Europe progressing? // European journal of ePractice. – 2009. – N 7, March. – 11 p. – Mode of access: http://www.epractice.eu/files/7.2.pdf (Дата посещения: 15.11.2012.)

Prosser A. eParticipation in administrative procedures // Eastern European eGov days 2011: Conference Proceedings. – OCG publications, Vienna 2011. – P. 17–23

Prosser A., Müller-Török R. Private vs. gv-driven e-Participation // 4^th Conference on Electronic Democracy, EDEM 2010. – Danube univ. Krems, OCG publications, Vienna, 2010. – P. 163–172.

Recommendation CM/Rec (2009) 1 of the Committee of Ministers to member states on electronic democracy (e-democracy) // Council of Europe. – Mode of access: http://www.coe.int/t/dgap/democracy/Activities/GGIS/CAHDE/2009/RecCM2009_1_and_Accomp_Docs/Recommendation%20CM_Rec(2009)1E_FINAL.asp#TopOfPage (Дата посещения: 20.05.2011.)

Reinbold F. Mitbestimmung der Piraten. Zu viel versprochen // Der Spiegel. – 2012. – 14 Mai. – Mode of access: http://www.spiegel.de/politik/deutschland/piraten-partei-kann-basisdemokratie-versprechen-nicht-einhalten-a-832421.html (Дата посещения: 15.09.2012.)

Spichiger A., Rascуn A., Neuroni A., Riedl R. Assessing and evaluating value and cost effectiveness of e-Government initiatives: Focusing the qualitative evaluation / 14 th International research society for public management (IRSPM) conference 2010. – Univ. of Berne, Centre of competence for public management, 2010. – 7–9 April.

Taking good practice forward: The case for the eGovernment Awards. European eGovernment Awards 2005, Research report / Leitner, C. (ed.). – European institute of public administration (EIPA), Maastricht, 2006. – 162 p.

The user challenge benchmarking the supply of online public services. – European Commission, Capgemini, 2007. – 7 th measurement. – 123 p. – Mode of access: http://ec.europa.eu/information_society/eeurope/i2010/docs/benchmarking/egov_benchmark_2007.pdf (Дата посещения: 02.12.2012.)

The user challenge benchmarking the supply of online public services. – European Commission, Capgemini, 2009. – 8 th measurement. – 184 p. – Mode of access: http://ec.europa.eu/information_society/eeurope/i2010/docs/benchmarking/egov_benchmark_2009.pdf (Дата посещения: 02.12.2012.)

Von Becker S., Kurbjuweit D.; Müller P.; Rosenbach M., Theile M. Partei der Sehnsucht // Der Spiegel. – 2012. – 23 April. – Mode of access: http://www.spiegel.de/spiegel/print/d-85157559.html (Дата посещения: 15.9.2012.)