Проектно-учебные группы

Как мы уже писали, тексты Интернет-форума краудсорсинговых систем Witology – один из основных объектов анализа.  В первую очередь нас интересуют ключевые слова и словосочетания, то есть значимые слова и словосочетания, отражающие стилистическую или тематическую специфику текста. Решением задачи выделения ключевых слов и словосочетаний, а также программированием разработанных методов в нашем проекте занимается Екатерина Черняк, а помогает ей в этом Даниил Недумов.

Ключевые слова и словосочетания интересны сами по себе, хотя и предназначены для последующего анализа. Часто говорят, что они являются сжатой формой представления текста. Так, например, если мы рассматриваем тексты одного участника форума, ключевыми для него могут оказаться как специфические термины, которыми пользуется только он (или ограниченное количество участников форума), так и оригинальные формы приветствия. Форумы Witology имеют конкретную направленность (обсуждается проект одной тематики – банковской, страховой, образовательной и т.п.), поэтому для всего форума целиком целесообразно считать ключевыми именно термины и другие слова, соответствующие тематической специфике. Следовательно, на первых этапах анализа перед нами стоят две задачи: 1) выделение ключевых слов и словосочетаний на всем форуме; 2) выделение ключевых слов и словосочетаний одного пользователя. Несмотря на то, что формулировки задач похожи, мы решаем их разными способами.

Первая задача решается в два этапа. На первом этапе мы находим ключевые слова, то есть слова, которые часто встречаются во всех текстах форума и удовлетворяют определенным условиям, например, являются существительными или глаголами. На втором этапе мы выделяем ключевые словосочетания, то есть цепочки слов, связанные тем или иным способом. В качестве критерия оценки силы связанности слов можно использовать разные статистические меры сочетаемости. Эти меры показывают, насколько неслучайно событие вида «слово A и слово B оказались рядом». Например, словосочетание «сберегательная касса» – неслучайно и полезно, а «другая идея» –  скорее случайно, чем нет. К синтаксическим мерам связности относятся меры Pointwise Mutual Information, T-Score, хи-квадрат и т.д.. Подробнее о них можно узнать во многих открытых источниках, таких как Википедия, или учебниках по информационному поиску (см., например, http://nlp.stanford.edu/IR-book/information-retrieval-book.html). Также можно пользоваться синтаксическими фильтрами: задавать типы интересных для нас словосочетаний (например, прилагательное+существительное), а потом оценивать неслучайность всех отобранных словосочетаний.

Вторая задача в некотором смысле проще. Требуется найти уникальные и характерные слова и словосочетания для одного пользователя. Для этого мы оцениваем контрастность слов и словосочетаний пользователя, то есть, смотрим, как отличается встречаемость (частота) слов и словосочетаний в его текстах от их встречаемости на всем форуме. Мы пользуемся двумя мерами контрастности, TF-IDF и Mutual Information, так же широко известными, как и вышеописанные меры. Эти меры устроены так, что нет необходимости проводить различия между словами или словосочетаниям и в этом случае, мы оперируем с ними одинаково.

Заметим, что вторую задачу мы можем решать не только для пользователя, но и для отдельной темы форума или идеи (говоря на профессиональном языке Witology), группы пользователей или временного периода.

Общая схема задачи выделения ключевых слов и словосочетаний выглядит так:

1. разбиваем текст на слова

2. формируем списки кандидатов к ключевые слова и словосочетания (единичные слова, последовательные пары и тройки слов)

3. применяем синтаксические фильтры

4. в зависимости от поставленной задачи, рассчитываем некоторую меру (меры) для кандидатов в ключевые слова и словосочетания

5. отбираем такие ключевые слова и словосочетания, для которых значение меры максимально (например, топ-5, топ-10 или топ-100 ключевых слов и словосочетаний)

6. на основе экспертной проверки формируем окончательный список ключевых слов и словосочетаний.

Эта схема может показаться элементарной. Действительно, ничего оригинального в ней нет, однако с технической точки зрения, реализация схемы довольно сложна. Любой из шагов (особенно 1 и 2) требует серьезного лингвистического анализа. Первый его этап называется токенизацией, а на втором решается задача лемматизации слов и нормализации словосочетаний. Для лемматизации и нормализации необходимо использование морфологического словаря! Подробнее о задачах токенизации, лемматизации и нормализации можно прочесть в любом учебнике по математической лингвистике.

Для чего же нужны ключевые слова и словосочетания в нашем проекте? Прежде всего, для формирования формальных контекстов вида «пользователь – ключевое слово/ключевое словосочетание», «идея – ключевое слово/ключевое словосочетание» и последующего анализа формальных контекстов: нахождения формальных понятий и признаковых зависимостей, бикластеризации, спектральной кластеризации. Кроме того, ключевые слова позволяют построить так называемую социосемантическую сеть, основную модель, используемую для анализа влияния и поиска сообществ. Подробнее о социосемантических сетях можно прочесть в статьях Камия Рота и соавторов (http://camille.roth.free.fr/papers.php).

Не стоит забывать и про эстетически приятный бонус визуализации ключевых слов – облако тегов, наглядный и забавный способ изобразить ключевые слова на плоскости, таким образом, что кегль, которым написано слово, пропорционален частоте или любой другой статистической характеристике слова.

Благодарим Виктора Бочарова, аспиранта кафедры математической лингвистики СПбГУ и участника инициативы Mathlingvo и проекта Открытый корпус , за помощь в разработке методики выделения ключевых слов и словосочетаний.