Разработчикам сервиса для анализа языка нужны советы ⇐ Новые отрасли лингвистики

[Juisy]

Здравствуйте, уважаемые лингвисты и любители русского языка.
Мы разрабатываем сервис для автоматического выделения главных смысловых фрагментов текста. И нам очень нужны отзывы о качестве работы нашего алгоритма, любые мнения и любая критика.
Это не реклама, сервис бесплатный и ни на чем не зарабатывает. Делается из интереса к семантике и компьютерной лингвистике

Мы были бы очень рады любому мнению. К сожалению, мы не можем по правилам опубликовать прямую ссылку на форуме.
Но мы пришлем ее вам в личные сообщения, если вам покажется это интересным и вы захотите посмотреть, как компьютер определяет смысл текста.
Спасибо!

[vadim_i_z]

Пришлите!

[Juisy]

vadim_i_z, а скажите, как это делается у вас на форуме? Или мне недоступна возможность посылать личные сообщения?

[vadim_i_z]

Да, действительно: у Вас же нет необходимого числа сообщений. Послал в ЛС адрес почты.

[vadim_i_z]

Адрес сервиса: http://juisy.in/
Любопытная штука. Ввел три фрагмента: начало "Анны Карениной", диалог Пилата и Иешуа из Булгакова и разговор Уотсона с Холмсом о необходимых знаниях. С Конан Дойлем программа в целом справилась, с Толстым совсем нет, с Булгаковым - средне.

[vladik_ma]

Ввел из методической разработки главу "Диалектика как философская теория развития", в которой автор уже сам выделил некоторые фрагменты как важные. Программа их проигнорировала и отметила совсем другое. Заметил, что программа ориентируется на вводные слова и выражения итак, как видно, исходя из сказанного и т.п., однако далеко не всегда таким образом попадает в точку. В перечислениях выделяются отдельные позиции, хотя очевидно, что невыделенные пункты ничем не хуже выделенных. Позабавило, что программа отделяет фамилию от инициала, как будто точка после инициала означает конец предложения. Совершенно безосновательно выделяются иллюстрирующие примеры.
В целом, для текстов такого рода программа не подходит и не позволит студенту за 15 минут пробежать глазами по тексту для понимания главного и получить заветную четверочку (по нашей десятибалльной системе) — мечту заочника.
Вопрос к составителям: каков принцип действия?

[Рязанцев]

То, что интересует, есть, вероятно, в журнале "Вопросы языкознания" в №1 за 2012 год (стр. 3-21). Это статья И.А. Мельчука "Описание зависимости в языке и в лингвистике". Это итоговая статья автора за 50 лет работы. Есть [email protected]. Добавлю, что не во всех языках смысловое значение передается посредством морфем. Есть языки, смысловое значение в которых имеют слоги (китайский язык, например). Слоговые языки, возможно, ближе к праязыку, который считают также и корневым, то есть состоящим из одних корней. Тут есть один вопрос, на который никто пока не дает ответа: поскольку корни и морфемы состоят также из слогов, то они могут представлять собой фразы на исходном слоговом языке, смысла которых уже мало кто помнит. Например, слово "епископ" раскладывается на такие слоги, но глубинный их смысл вполне заменен существующим смысловым значением (церковный владыко).

"В статье обсуждаются три типа языковых зависимостей: семантическая, синтаксическая и морфологическая (=управление и согласование), а также их возможные комбинации. В рамках подхода "смысл-текст" рассматриваются глубинно-синтаксические и поверхностно-синтаксические зависимости, критерии установления поверхностно-синтаксических зависимостных отношений и языковые явления, для описания которых синтаксические зависимости необходимы."