Редькина Н.С.
Библиометрия: история и современность

[ Молодые в библиотечном деле. – 2003. – № 2. – С.76-86 ]

Наталья Степановна Редькина,
главный библиограф, аспирантка ГПНТБ СО РАН, лауреат III Всероссийского конкурса на лучшую работу молодых ученых и специалистов в области библиотечного дела (г. Новосибирск)

Применение современных методов объективной оценки деятельности ученых и специалистов приобретает особое значение для российской науки. Сегодня для эффективного функционирования, научным учреждениям необходимо опираться на специальные исследования, анализ накопленных достижений и уже на этой основе осуществлять прогнозирование основных направлений, тенденций и перспектив развития отрасли в будущем, проводить оценку научного потенциала.

В условиях прогрессирующего развития научной информации становятся все более актуальными разработка и использование новых механизмов для её структурирования, анализа и оценки. В мировой науке накоплен значительный арсенал разнообразных методов, подходов и технологий, направленных на получение качественной картины состояния и развития того или иного научного направления, изучения эффективности научных исследований. Существенный вклад в исследование данной проблемы внесли представители различных областей знания – науковеды, социологи, библиотековеды и др. В первую очередь, это значительные работы Г.М. Доброва, В.В. Налимова и З.М. Мульченко, С.Д. Хайтуна, В.М. Мотылева, Г.Ф. Гордукаловой, В.И. Горьковой, В.А. Маркусовой, И.В. Маршаковой, Ю. Гарфилда и др. Все большей популярностью пользуются формализованные подходы к изучению наук, среди которых наиболее часто используемые и активно развивающиеся в последние десятилетия – библиометрические методы, сущность которых заключается в подсчете, сочетании, истолковании и сравнении некоторых элементов документопотока. Они способствуют получению количественной информации о публикационной активности ученых на уровне стран, регионов, городов или институтов, используются для сравнительного анализа научной продуктивности. Данные, получаемые с помощью библиометрических исследований, эффективно применяются в различных оценочных процедурах, позволяют определять развитие или регрессию того или иного научного направления. Возможности их применения в настоящее время возросли. Используя различные информационные ресурсы можно проводить анализ весьма оперативно и получать точные количественные индикаторы. Перспективы дальнейшего развития библиометрии бесспорны.

Формирование основ библиометрии – нового научного направления, связанного с количественным изучением документопотоков, приходится на начало ХХ века. Вместе с тем, несмотря на достаточно продолжительный период развития, и многочисленные исследования, обсуждение теоретических вопросов библиометрии остается, весьма злободневной задачей. Дефиниция понятия «библиометрия» до сих пор четко не сформулирована. Взгляды разделились и по проблеме о месте библиометрии в системе наук. Спорным является также вопрос о методах библиометрии.

История

Единой точки зрения по поводу даты возникновения библиометрии нет. Зарубежные исследователи, чаще всего, указывают на работу Ф. Коула и Н. Ильса 1917 года (3), в которой был проведен статистический анализ литературы по сравнительной анатомии. О. Воверне, вслед за историком науки С.В. Альтшуллером (13, 15) отмечает, что несправедливо забыто имя русского ученого П. Вальдена, который в 1911 году впервые применил метод анализа цитирования для изучения вклада ученых отдельных стран в развитие химии (14) и, таким образом, должен быть признан родоначальником данного метода – наиболее часто используемого в настоящее время. Заметим, что одна из первых попыток количественного изучения потока отечественной литературы была предпринята также А. Шторхом и Ф. Аделунгом, которые проанализировали собственный указатель, отражающий литературу за период 1801–1806 гг. по разным параметрам (26).

Хронологический отсчет можно начинать с 1771–1772 гг. с момента выхода издания «Парижская библиография» («Bibliographie parisienne» – Paris, 1771–1772. – 58 р.) – одного из первых прообразов современных указателей научных ссылок. Материал в «Парижской библиографии» располагался в порядке первоисточников (рецензируемых книг), так как статьи-рецензии представляли интерес только в связи с рецензируемой работой.

Еще одно издание подобного рода – «Указатель ссылок федерального законодательства Шепарда» («Shepard's Index»), первый том которого вышел в 1873 г. В указателе описания решений Федерального суда и судов всех штатов США сопровождаются списком публикаций, в которых имеются ссылки на данное судебное решение. Таким образом, каждый прецедент сопровождался его послеисторией, т. е. решениями, принятыми под влиянием данного прецедента, что облегчало поиск необходимой юридической информации. Это издание можно также считать указателем библиографических ссылок, так как в нем материал расположен по прецедентам, а не по публикациям, в которых они описаны.

Библиометрические подходы к изучению процессов распространения информации связаны с именами Дж. К. Ципфа («Распределение Ципфа»), С.К. Бредфорда («Закон рассеяния Бредфорда»), В.К. Брукса (уточненная математическая формулировка «закона рассеяния»), А. Лотка («закон обратного квадрата», описывающий распределение авторов в зависимости от количества опубликованных ими статей). Значение этих законов в том, что их основатели положили начало системному исследованию документопотоков, и, соответственно, сыграли значительную роль в становлении библиометрии. Можно утверждать, что на сегодняшний день они являются методологической основой при изучении документопотоков. Закономерности концентрации и рассеяния информации позволяют сориентироваться в огромном количестве изданий и выбирать соответствующие изучаемой области знания; законы распределения характеризуют результаты научного труда с большой точностью. Применение этих методов в управлении массивами журналов или для оценки научного влияния периодики, авторов, статей, исследований, – важное условие получения объективной информации об эффективности научной деятельности и информационного сопровождения науки.

Следует ещё раз констатировать, что на сегодняшний день не существует единой трактовки понятия «библиометрия». Несмотря на появление ряда теоретических работ, термин остается расплывчатым, формулировки нуждаются в уточнении.

Термин

Изначально количественные исследования документопотока определяли как «статистическая библиография». Этот термин в 1923 году ввел E.W. Hulme, применив его к ранжированию стран по числу журнальных статей в определенных областях. Термин не закрепился, т.к. недостаточно точно описывал предмет исследования и отличался семантической многозначностью (например, мог пониматься как библиография по статистике). Его заменил термин «библиометрия», введенный в 1969 году английским ученым А. Причардом, определяемый изначально как применение математических и статистических методов в области научной коммуникации (10). В дальнейшем были предложены различные варианты определения библиометрии.

М. Моралес (Институт научной и технической документации и информации, Гавана, Куба) считает, что библиометрия – это научная дисциплина, изучающая и описывающая количественные закономерности объектов библиотечного дела, библиографии для решения задач библиотековедения, библиографоведения, или научная дисциплина о закономерностях печатных публикаций, библиографий (20).

Проект своего определения библиометрии предложил отечественный ученый В.С. Лазарев: «библиометрия – это методический комплекс, общий для наук социально-информационно-коммуникационного цикла и используемый для проведения количественных исследований документов» (19. – С. 16).

Немецкий ученый Д. Шмидмайер понимает под библиометрией «направление исследований количественного анализа и измерения документов, используемых для записи и передачи знаний, а также применение статистических методик к исследованиям в библиотековедении и информатике» (11).

По мнению немецкого ученого М. Бониц, «библиометрия – это комплекс математических и статистических методов, применяемых для изучения научных и ненаучных документов и библиотечных сетей» (2).

Б. Стефаняк, польский ученый, считает, что библиометрия занимается применением количественных методов при изучении процессов, которым подвергается информация, передаваемая письменно (23).

Российский ученый О.М. Зусьман библиометрией называет «логико-статистический анализ документальных потоков с целью измерения различных параметров развития субъектов и объектов научной деятельности» (18. – С. 104). При этом автор считает библиометрические исследования частью библиографических исследований, объясняя данную позицию тем, что практически всегда они базируются на изучении библиографических источников. С одной стороны, нельзя не согласиться с данным суждением, поскольку чаще всего основой для проведения библиометрического исследования действительно являются вторичные источники информации. Вместе с тем, существуют методы библиометрического анализа, которые применяются для изучения первичных документов и имеют большие перспективы дальнейшего развития в связи с увеличением числа полнотекстовых источников информации, доступных в автоматизированном режиме.

Из анализа вышеприведенных определений библиометрии можно сделать ряд выводов. Общим в определениях, не вызывающим возражений, является тот факт, что в библиометрии применяются количественные методы исследования документов. В том, считать ли библиометрию научным направлением, дисциплиной или просто совокупностью методов, мнения разделились. Определяя место библиометрии в системе наук, одни ученые выделяют ее в самостоятельную дисциплину, другие – в комплекс математических и статистических методов, составляющих структурную часть методологии одной из анализируемых дисциплин (15). Так, В.С. Лазарев выдвигает гипотезу, о том, что библиометрия может выступать в качестве структурной части методологии всех наук социально-информационно-коммуникационного цикла (19). Как видно, определениям присущи противоречивость и, нередко, ограниченность или излишняя широта.

Обобщив сказанное выше, нам представляется целесообразным предложить следующее определение: библиометрия – это научная дисциплина, занимающаяся изучением документов на основе количественного анализа первичных и вторичных источников информации с помощью различных формализованных методов с целью получения данных об эффективности научных областей и прогнозировании их развития.

Объект и предмет

Однозначной трактовки объекта и предмета библиометрии также не существует. Одни авторы считают, что предмет библиометрии – это документ (19), другие относят к нему объективные количественные закономерности научно-технической литературы, библиографических источников, используемые для совершенствования научной деятельности (15). Наша позиция по этому вопросу такова: учитывая то, что объект – это то, на что направлено изучения, а предмет – это закономерности функционирования и развития объекта, считаем, что документ является объектом библиометрии, а предметом – общие закономерности его функционирования и развития.

В последние годы появились близкие библиометрии направления исследований – информетрия, наукометрия, вебометрия, киберметрия и др., которые также изучают количественные закономерности, в том числе и документопотоков. Различие их, по мнению В.И. Горьковой, в «несходстве предметов и сфер применения объективных количественных закономерностей, а также целей практической деятельности» (17). Нам представляется, что различия в предмете исследований не существенны, а термины являются достаточно близкими по значению. В то же время, они используются для описания различных методологий и, как отмечают Hood W.W. и Wilson C.S.: «У каждого своя история возникновения и сфера использования» (4. – С. 294).

Термин «информетрия» впервые появился в 1979 году в двух немецких статьях (1, 7). Под информетрией в широком смысле понимается использование разнообразного математического аппарата для анализа, выявления закономерностей, формулировки законов информационной деятельности и научной информации, а также для принятия решений в информационной практике (8). Считается, что информетрия имеет такое же право на существование в рамках теории научной информации, как эконометрия, биометрия, психометрика в рамках соответствующих дисциплин или наряду с ними (19). Вместе с тем, информетрия не получила столь широкого распространения как библиометрия, хотя поток публикаций по статистическим и иным математическим методам в информатике увеличивается. В обзорной статье 1987 года (6) указано более 200 публикаций, посвященных вопросам информетрии. Анализ публикаций последних лет (с 1998 по 2002 год), проведенный по РЖ ВИНИТИ «Информатика», позволил сделать вывод о том, что большинство работ, посвященных информетрическому анализу (72 %) отражают количественные исследования научной информации, представленной в Интернет. В последние годы вводится в обращение и получает распространение еще одно сходное определение – «вебометрия» – анализ сетевых ресурсов, в основе которого также лежат библиометрические приемы изучения информации.

Вместе с тем, информетрия продолжает развиваться, проводятся конференции, создаются исследовательские организации. Например, в Копенгагене при Королевской школе библиотековедения и информатики функционирует Центр информетрических исследований (ЦИИ) (16). Основные направления работы Центра – проведение информетрических исследований, изучение информационных потоков с помощью современных методов информационного поиска и библиометрической методологии, в том числе, проведение исследований во всемирной сети Интернет. ЦИИ распространяет традиционный библиометрический анализ не только на научные сообщества, применяя данные методы для изучения социальных, промышленных и иных связей.

Очевидно, что информетрия занимает промежуточное место между библиометрией и наукометрией. Что касается вновь возникающих родственных терминов, таких как, киберметрия и вебометрия, то можно констатировать, что в их основе находятся библиометрические приемы, только связаны они с новыми направлениями в исследовании информации. Термин «наукометрия», введенный В.В. Налимовым и З.М. Мульченко в 1969 году, и получивший распространение в дальнейшем как «scientometrics», является более общим. Информетрия, описывающая и исследующая явления и процессы в области научной информации имеет много общих моментов с наукометрией; последняя же исследует процессы и явления научной деятельности в более широком контексте. И в том и в другом случае, используются библиометрические методы.

Методы

Существуют разночтения и в трактовке методов библиометрии. В сущности, приемы библиометрии хорошо известны, но нет их четкой классификации методов. В работе 1981 года А. Причард и Г. Витинг (9) к библиометрическим отнесли следующие методы:

– анализ цитирования;

– анализ реферативных журналов;- количественный анализ публикаций отдельных авторов;

– количественный анализ публикаций ученых отдельных стран мира, а также отдельных научных коллективов;

– исследование закономерностей роста, старения, рангового распределения научных документов;

– контент-анализ научных документов;

– другие методы, связанные с распределением научных документов.

Данный перечень является неполным, но, в то же время, он остается одним из наиболее полных перечней. На сегодняшний день ситуация сложилась так, что одни исследователи придерживаются позиции, что это библиометрические методы, другие определяют их как «информетрические», «наукометрические», «информационные».

Круг методов, используемых в библиометрии, частично систематизирован в работах А. Причарда и Г. Витинга, Д. Шмидмайера, В.С. Лазарева, О. Воверне (9, 11, 15, 19). Свою классификацию методов предложила Е.Ю. Павловска (21), называя её условной, и предлагая выделить 3 группы:

– методы количественной оценки элементов документального информационного потока;

– методы цитатного анализа;

– методы лексического анализа.

В.С. Лазарев, анализируя концепции А. Причарда и Г. Витинга, Д. Шмидмайера, представляет комплекс библиометрических методов, как «анализ первичных документов и вторичных информационных изданий, учет цитирований документов и обращений к ним, отдельно выделяя анкетирование, контент-анализ и ему подобные методы» (19. – С. 8).

В разнообразии основных методов библиометрии нетрудно выделить относительно устойчивые элементы. К ним, прежде всего, относятся: анализ первичных и вторичных источников информации и анализ цитирования. Мы предлагаем взять их за основу классификации библиометрических методов, и, соответственно, выделяем три группы:

1) методы анализа количественных характеристик первичных документов;

2) методы анализа вторичных источников информации;

3) методы анализа цитирования.

Остальные методики являются производными от этих трех приемов.

При исследовании развития научных направлений используется группа методов, основанных на изучении текстов первоисточников. Формализованный анализ информации, зафиксированной в документах, берет начало от социологического метода контент-анализа, различные модификации которого направлены на получение объективной информации о некоторой совокупности однородных документов (информационного потока) путем фиксации существенных характеристик содержания и их количественного описания.

Единицей анализа может является слово или некоторая совокупность слов, выражающая проблему (предмет, отрасль, направление и др.), автор, географическая рубрика и др. По изменениям частоты встречаемости единиц анализа в текстах можно делать выводы об изменениях в направлении исследования, выявить документы, в которых уделяется большее или меньшее внимание изучаемому предмету.

Модификациями данного метода можно считать метод «семантического спектра», позволяющий в графической форме исследовать динамику ключевых слов во времени и рассматривать различные аспекты структурных изменений в различных областях (12), а также метод логико-смыслового моделирования, предложенный М. Субботиным (24), основанный на использовании в качестве исходных элементов любых высказываний, которые могут быть выражены отдельным словом, словосочетанием или целым предложением.

С нашей точки зрения, учитывая постоянное увеличение числа полнотекстовых источников информации, методы анализа количественных характеристик первичных документов имеют большие перспективы дальнейшего развития. Изучая отраслевые базы данных по такому параметру, как ссылки в публикациях, можно будет проводить анализ цитирования без использования специализированных указателей научных ссылок, на разных массивах информации.

Вторичные источники информации являются важнейшей базой для проведения исследований по изучению развития науки. При этом для анализа динамики развития документопотока, роста, старения, рангового распределения, применяются уже упомянутые классические законы библиотетрии.

Из подходов к исследованию вторичных источников информации можно выделить метод анализа совместной встречаемости ключевых слов, который был разработан в Центре социологических нововведений в Париже. Он основывается на выделении ключевых слов, описывающих содержание публикаций и выявлении работ, связанных с изучаемыми в целях создания «индекса» карты специальности с помощью показателя совместной встречаемости этих терминов. В настоящее время во многих первичных и вторичных изданиях документы индексируются ключевыми словами. Таким образом, данный подход можно отнести не только к группе методов анализа первичных источников информации, но и к группе методов количественного изучения научной продукции с помощью метаинформационных ресурсов.

По методике моделирования лексического анализа документальных баз данных предложенной Е.Ю. Павловска (21), необходимо выбрать определенное научное направление, для которого можно проследить моменты зарождения научных направлений в исследованиях по какой-либо проблеме, их развитие, распад, или трансформацию в новые дисциплины, попытаться выявить закономерности в динамических характеристиках информационного потока в различные периоды его «жизни», а, когда такие закономерности будут найдены, проверить высказанную гипотезу либо на других массивах, либо в другом временном интервале. Предложенный метод оценки тенденций развития научного направления, основанный на анализе лексики проблемно-ориентированных БД, трудно назвать доступным и простым в использовании в силу сложности выделения лексических единиц. Разновидностью частотного анализа является сленговый метод, в котором в качестве измерителя предлагается использовать словарное слово, объединяющий соответствующую группу словоформ (25). В отличие от методов лексического анализа сленговый метод полностью формализован, базой для его использования служат автоматизированные поисковые системы.

Вышеизложенные методы позволяют изучить частоту появления терминов, их распределение и динамику, расширить эмпирическую базу сопоставляемых документов, преодолеть ограничения, обусловленные спецификой БД «Science Citation Index» (SCI); охватить большее число документов, на различных языках, а также устранить воздействие такого фактора как временной разрыв, характерного для кластерного анализа.

Система методов изучения документопотока на основе анализа цитирования, применяемых для получения структурной картины состояния научных исследований, разрабатывается интенсивно. В данном случае объектом является поток цитируемых и цитирующих публикаций. В теоретическом плане сделано уже немало, есть многочисленные практические результаты использования этих методов, на основе принципов цитирования предложены дополнительные подходы. Наиболее употребляемые среди них следующие: метод ко-цитирования и кластерный анализ, метод библиографического сочетания.

Используя метод совместного цитирования двух публикаций, так называемого ко-цитирования (от англ. «co-citation»), определяют тенденции развития коммуникационных процессов в науке. Данный подход, разработанный в 1973 году Г. Смоллом и И. Маршаковой, позволяет вносить коррективы в полученную структуру в процессе выявления новых библиографических ссылок, отражающих изменения во времени исследуемого направления и, тем самым, может служить инструментом оперативной коррекции научных проектов. Ко-цитирование – это связь между двумя публикациями, определенная числом работ цитирующих обе публикации одновременно, что указывает на их концептуальную близость. Между этими работами появляются невидимые ранее связи, которые при наглядном представлении образуют смысловые сгустки – кластеры.

С начала 80-х годов ХХ века появилась возможность, используя информационную технологию алгоритмического классифицирования – кластеризацию методом ко-цитирования, создавать карты и атласы наук, отражающие «передний край» науки и позволяющие выявлять междисциплинарные связи. Кластерный анализ является действенным инструментом картирования различных свойств, выявления активных исследовательских фронтов или отслеживания исторического развития определенных научных направлений или дисциплин. Как отмечает С.А. Рожков: «Кластер – это своего рода «образ» исследовательской области, созданный всем стоящим за ним мировым научным сообществом ученых, работающих в данном направлении» (22. – С. 29).

Карты и атласы науки позволяют анализировать ее в различных аспектах, в частности, выявлять вклад отдельных стран в развитие мировых исследований, устанавливать исследовательские направления, специфические для определенной страны. Результаты картографирования науки могут использоваться как для прогнозирования и планирования исследований в той или иной области, так и при выработке научной политики.

Выявлять связи в документопотоке предлагается не только методами кластеризации. В соответствии с методом библиографического сочетания, предложенным М. Кесслером (5), сила связи двух публикаций определяется числом приведенных в этих публикациях общих (одинаковых) ссылок, т.е. подобным образом можно определять связь между публикациями. Еще один вид взаимосвязи между двумя публикациями посредством ссылок – анализ предметного направления, который проводится путем изучения количества ссылок, содержащихся в первой публикации на работы, содержащиеся во второй.

Все перечисленные методы имеют свои особенности, достоинства и недостатки. Каждый из них имеет более или менее определенную область применения и эффективности. С их помощью могут решаться важные задачи по изучению тенденций развития и оценки различных научных областей и направлений, подготавливаться информационно-аналитический материал для эффективного управления наукой. Таким образом, библиометрия имеет все возможности для того, чтобы стать одной из ведущих научных дисциплин и просто «обязана» успешно развиваться и совершенствоваться.

Литература

1. Blackert L. Ist in ger wissenschaftlichen information Platz fur die Informetrie? / Blackert L., Siegel S. // Wiss. Zeitschrift Tech. Hochchule. – 1979. – Vol. 25, N 6. – S. 187-199.

2. Bonitz M. Scientometrie, Bibliometrie, Informetrie / Bonitz M // Zbl. Bibliotheksw. – 1982. – Bd. 98, Hf. 1. – S. 19-24.

3. Cole F.J. The history of comparative anatomy. Part 1. A statistical analysis of the literature / Cole F.J., Eales N.B. // Science progress. – 1917. – Vol. 11, N 10. – P. 1229-1234.

4. Hood W.W. The literature of bibliometrics, scientometrics, and informetrics / Hood W.W., Wilson C.S. // Scientometrics. – 2001. – Vol. 52, N 2. – P. 291-314.

5. Kessler M.M. Bibliographical coupling between scientific papers / Kessler M.M. // Amer. Doc. – 1963. – Vol. 14, N 1. – P. 10-25.

6. Kinnucan M.T. Statistical methods in information science research / Kinnucan M.T., Nelson M.L., Allen B.J. // Annu. Rev. Inf. Sci. Techn. – 1987. – Vol. 22. – P. 147-178.

7. Nacke O. Informetria: Name fur eine neue diszipline / Nacke O. // Nach. Dok. – 1979. – Vol. 30, N 6. – S. 219-226.

8. Pindlowa W. Wokol informetrii, bibliometrii i naukometrii / Pindlowa W. // Aktual. Probl. Inf. i dok. – 1989. – Vol. 34, N 1-2. – C. 3-7.

9. Prichard A. Bibliometrics: A-Bibliography and Index. 1: 1874–1959 / Prichard A., Witting G. – Watford: Allm Books, 1981. – 160 p.

10. Prichard A. Statistical bibliography or bibliometrics? / Prichard A. // J. Doc. – 1969. – Vol. 25, N 4. – P. 348-349.

11. Schmidmaier D. Application of bibliometries in technical university libraries / Schmidmaier D. // Developing library effectiveness for next decade: Proceedings of the 7th Meeting IATUL, Leuven, 1977, 16–21 May. – Joeteburg, 1978. – P. 129-135.

12. Агеев Б.А. Анализ развития научных направлений методом «семантического спектра» / Б.А. Агеев, С.Б. Черноног, С.Б. Розуменко. // НТИ. Сер. 1. – 1990. – № 5. – С. 16-18.

13. Альтшуллер С.В. П.И. Вальден и язык научных ссылок / С.В. Альтшуллер. // Природа. – 1969. – № 8. – С. 119.

14. Вальден П.И. О развитии химии в России / П.И. Вальден. // Дневники 2 Менделеевского съезда (21–28 дек. 1911 г.). – СПб.: Б. г. – № 4-8. – С. 124 – 141.

15. Воверне О. Библиометрия – структурная часть методологии информатики / О. Воверне. // НТИ. Сер. 1. – 1985. – № 7. – С. 1-5.

16. Вормелл И. Придание новых качеств найденной информации / И. Вормелл. // Междунар. форум по информации. – 2000. – Т. 25. – № 4. – С. 23.

17. Горькова В.И. Информетрия: (Количеств. методы в НТИ) / Горькова В.И. – М.: ВИНИТИ, 1988. – Т. 10. – С. 3 – 326. – (Итоги науки и техники. Сер. Информатика; Т. 10).

18. Зусьман О.М. Библиографические исследования науки / Зусьман О.М. – СПб., 2000. – 215 с.

19. Лазарев В.С. Библиометрия / Лазарев В.С. // Вопросы библиографоведения и библиотековедения: Межвед. сб. – Минск, 1991. – Вып. 12. – С. 3 – 18.

20. Моралес М. Информетрия и ее значение / Моралес М. // Межд. форум по инф. и док. – 1985. – Т. 10, № 2. – С. 16 – 21.

21. Павловска Е.Ю. Информационные методы оценки тенденций развития научных направлений / Павловска Е.Ю. – М.: ВИНИТИ, 1990. – Т. 17. – С. 3 :120. – (Итоги науки и техники. Сер. Информатика; Т. 17).

22. Рожков С.А. Библиометрические методы выявления и анализа научных направлений / Рожков С.А. – М.: ВИНИТИ, 1991. – Т. 16. – С. 3 – 137. – (Итоги науки и техники. Сер. Информатика; Т. 16).

23. Стефняк Б. Библиометрические и наукометрические исследования польской научно:технической литературы с помощью баз данных капиталистических стран / Стефняк Б. // НТИ. Сер. 1. – 1983. – № 8. – С. 19 – 24.

24. Субботин М.М. О логико:смысловом моделировании содержания управленческих решений / Субботин М.М. // Научной управление обществом. – 1980. – Вып. 13. – С. 203 – 224.

25. Хайтун С.Д. Наукометрия: состояние и перспективы / Хайтун С.Д. – М.: Наука, 1983.: 344 с.

26. Шторх А. Систематическое обозрение литературы в России (1801–1806 гг.) / Шторх А., Аделунг Ф. – Ч.1. – СПб., 1810. – 352 с.