Всё ли в науке можно измерить?

Один из крупнейших в мире специалистов в области статистического измерения научно-технической и инновационной деятельности профессор Джорджио Сирилли прочел 21 января 2015 года в НИУ ВШЭ открытую лекцию.

Джорджио Сирилли — научный директор Института по изучению устойчивого экономического роста при Национальном исследовательском совете Италии (Research Institute on Sustainable Economic Growth of National Research Council — IRCrES). Активный участник и бывший председатель Рабочей группы национальных экспертов по индикаторам науки и технологий ОЭСР (OECD Working Party of National Experts on Science and Technology Indicators, NESTI). Автор более 200 научных публикаций.

Руководство по измерению научно-технического прогресса

Практика систематического статистического наблюдения науки выросла из инициативы небольшого круга энтузиастов, желавших помочь национальным лидерам получить адекватное представление о состоянии научно-технической сферы. После окончания Второй мировой войны правительства тех государств, которые она так или иначе затронула, убедились в том, что технический прогресс играет определяющую роль в развитии экономики. И остро встал вопрос о необходимости создании системы количественной оценки состояния науки и технологий.

Более-менее регулярно такие измерения начали проводиться с конца 1950-х годов, и к началу 1960-х годов отдельные страны уже имели серьезный опыт в области сбора и анализа статистической информации о развитии научно-технической сферы. В 1962 году для координации деятельности по анализу и оценке развития исследований и разработок в составе Организации экономического сотрудничества и развития (ОЭСР) была сформирована Рабочая группа национальных экспертов по индикаторам науки и технологий (OECD Working Party of National Experts on Science and Technology Indicators, NESTI).

В нее вошли видные ученые, преимущественно экономисты. Во время их первой встречи, состоявшейся на вилле Фалькониери в городе Фраскати (Италия), были сформулированы методологические принципы организации статистического наблюдения исследований и разработок. Изданный в 1963 году и названный в честь этого итальянского города документ закрепил общие для стран ОЭСР подходы к сбору национальных данных о науке. 

Руководство Фраскати никогда не было обязательным к применению, его положения всегда носили и носят рекомендательный характер, подчеркнул Джорджио Сирилли. Несмотря на это, документ получил двойную эгиду — ОЭСР и Евростата, стал своеобразной библией для специалистов в области статистики науки и инноваций и положил начало регулярным измерениям.

Методология оценки постоянно совершенствуется и охватывает все новые аспекты и направления научно-технической и инновационной деятельности. Со временем возникла серия из пяти руководств — так называемое «семейство Фраскати» (Frascati Family).

Семейство руководств Фраскати

	Предмет измерения		Руководство
	Исследования и разработки		Frascati Manual: Proposed Standard Practice for Surveys on Research and Experimental Development (OECD, 2002 [1963]) R&D Statistics and Output Measurement in the Higher Education Sector. Frascati Manual Supplement (OECD, 1989)
	Баланс платежей за технологии		Proposed Standard Method of Compiling and Interpreting Technology Balance of Payments Data — TBP Manual (OECD, 1990)
	Инновации		OECD Proposed Guidelines for Collecting and Interpreting Innovation Data — Oslo Manual (OECD, 2005 [1997])
	Патенты		Using Patent Data as Science and Technology Indicators — Patent Statistics Manual 1994 (OECD, OCDE/GD(94)114, 1994)
	Научно-технический персонал		The Measurement of Human Resources Devoted to Science and Technology — Canberra Manual (OECD, 1995)

Главная задача статистических индикаторов, подчеркнул профессор Сирилли, — давать максимально объективную, при этом ценностно нейтральную информацию: в конвенции Статистического комитета ООН постулируются принципы открытости и общедоступности методологических, регулятивных документов и данных официальной статистики, наряду с требованиями конфиденциальности индивидуальной статинформации. Между тем, основываясь на общих методологических принципах, в своих целях статистика всегда следует за политической повесткой. И если в момент зарождения статистического измерения исследований и разработок основным объектом внимания была собственно научно-техническая деятельность — с целью усиления ее роли в повышении уровня благосостояния и безопасности населения, то сегодня предметом регулирования и, соответственно, статистического анализа оказываются также процессы инновационного развития, направленные, в том числе, на поиск ответов на социетальные и глобальные экологические вызовы.

В работе группы NESTI участвует и Россия. В соответствии с приказом Минобрнауки России № 159 от 8 мая 2009 г. эту деятельность координирует Высшая школа экономики. Делегаты от России — первый проректор НИУ ВШЭ Леонид Гохберг, директор Центра статистики и мониторинга науки и инноваций ИСИЭЗ Ирина Кузнецова, заведующий Отделом исследований результативности научно-технической деятельности ИСИЭЗ Константин Фурсов — активно участвуют в ряде проектов NESTI. В частности, наши эксперты отвечают за координацию работ по совершенствованию методологии статистического измерения научных кадров в рамках пересмотра Руководства Фраскати.

О неизмеримом в статистике

Всю целиком сферу науки, технологий и инноваций охватить статическими индикаторами нельзя, говорит Сирилли. Массив информации, поддающийся системному описанию и измерению, — лишь вершина айсберга. Основная же часть процессов, которые движут развитием науки и определяют успехи той или иной страны, остается скрытой. Поэтому интерпретация полученных результатов и принятие на их основе решений, в особенности политических, требуют большой аккуратности. Джорджио Сирилли пояснил это на примерах применения библиометрических показателей к оценке деятельности образовательных и научных организаций.

Так, сравнение результатов рейтингования итальянских вузов показало, что в зависимости от выбора показателей позиция одного и того же университета в разных рейтингах может выглядеть совершенно по-разному. «И как при этом выбирать вуз?» — обратился к слушателям профессор. Если речь идет о распределении финансирования на основе оценки результатов научной деятельности путем сравнения показателей публикационной активности, ситуация усложняется еще больше.

Грамотная оценка деятельности организации, призванная в конечном счете повысить эффективность работы сектора исследований и разработок, — это комплексная и нетривиальная процедура. В любом проекте по измерению и оценке результативности одним из наиболее сложных вопросов специалисты считают соблюдение баланса между количественными методами (библиометрией) и качественными (экспертными оценками).

Значительную часть лекции господин Сирилли посвятил обсуждению комплексных индексов, позволяющих оценить сильные и слабые стороны инновационной системы той или иной страны, сравнивать разные экономики в разных аспектах.

Например, Innovation Union Scoreboard — интегральный индекс инновационной деятельности в странах ЕС, разработанный специалистами Еврокомиссии в единой методологии, — в последнем выпуске включает 25 различных показателей для каждой страны, которые агрегируются в 8 субиндексов. Для обеспечения сопоставимости на уровне отдельных стран ЕС индикаторы разной размерности и природы нормализуются, а затем с равными весами формируют соответствующие субиндексы. Использование равных весов для каждого показателя позволяет избежать проблемы, когда один показатель в силу большего веса становится важнее других. В то же время только на интегральный показатель полагаться нельзя, поскольку он «съедает» всю специфику, которые несут в себе его составные части. Так что комплексные рейтинги могут оказывать и негативное влияние.

О визуализации данных и магии цифр

Cпособы представления информации во многом определяют восприятие ее пользователями. Соответственно, чтобы донести до максимально широкой аудитории точную картину развития сферы науки, технологий и инноваций в стране, статистики должны опираться на широкий арсенал инструментов визуализации данных. При этом следует показывать «только цифры», напомнил профессор, не навязывая субъективных оценок.

Правда, и здесь есть обратная сторона. По мнению Джорджио Сирилли, один из наиболее распространенных среди лиц, принимающих решения, недостатков — страсть к «красивым», или «круглым», цифрам. Он проиллюстрировал свой тезис на примере выбора целевых показателей. В 2010 году в соответствии с Лиссабонской стратегией Еврокомиссия установила для ЕС значение по соотношению внутренних затрат на исследования и разаработки к ВВП в размере 3%, а затем перенесла это значение и на 2020 год. Впоследствии ряд европейских стран его просто «скопировали», притом что фактические соотношения затрат на исследования и разработки к ВВП в том или ином случае весьма сильно различались, а в некоторых — значение этого показателя было вообще недостижимо.

При изучении таких сложных систем, как сфера науки, технологий и инноваций, сказал в заключение профессор Сирилли, надо крайне внимательно выбирать меры оценки, аккуратно интерпретировать полученные результаты, с учетом известных ограничений метода. Притом что статистика вооружает данными для обоснования принимаемых решений, открывает новые горизонты и возможности, цифры никогда не дают полного представления об исследуемом объекте.

Максим Коцемир, Константин Фурсов