В мире компьютеровСоставил список слов романа "Мастер и Маргарита"

Русский язык и современные информационные технологии

Модератор: Роксана

Аватара пользователя
Автор темы
iqfun
поэт-прозаик
поэт-прозаик
Сообщений в теме: 8
Всего сообщений: 217
Зарегистрирован: 22.07.2012
Образование: высшее техническое
Профессия: программист-любитель
Откуда: Россия
Составил список слов романа "Мастер и Маргарита"

Сообщение iqfun » 19 июн 2017, 14:55

Написал маленькую программку и составил список слов и небольшую статистику романа "Мастер и Маргарита". Интересно посмотреть частоты появления некоторых слов. Напр., слова "мастер"/"Мастер" встречаются всего 90 раз, а "Маргарита" целых 420 раз! Планирую составить аналогичную статистику такой известной классики, как "Евгений Онегин", "Мёртвые души", "Война и мир", ...

Реклама
Аватара пользователя
Котяра
по чётным - академик
по чётным - академик
Сообщений в теме: 2
Всего сообщений: 1312
Зарегистрирован: 06.08.2015
Образование: среднее
Профессия: дворовый смотритель
Откуда: от мамы и папы
Re: Составил список слов романа "Мастер и Маргарита"

Сообщение Котяра » 19 июн 2017, 14:59

Любопытно, а Воланд, Иешуа Га-Ноцри и др. сколько раз?
не будь скотом! когда с котом >^^<

Аватара пользователя
Автор темы
iqfun
поэт-прозаик
поэт-прозаик
Сообщений в теме: 8
Всего сообщений: 217
Зарегистрирован: 22.07.2012
Образование: высшее техническое
Профессия: программист-любитель
Откуда: Россия
Re: Составил список слов романа "Мастер и Маргарита"

Сообщение iqfun » 19 июн 2017, 15:06

Для этого я ссылку и дал...

Аватара пользователя
Котяра
по чётным - академик
по чётным - академик
Сообщений в теме: 2
Всего сообщений: 1312
Зарегистрирован: 06.08.2015
Образование: среднее
Профессия: дворовый смотритель
Откуда: от мамы и папы
Re: Составил список слов романа "Мастер и Маргарита"

Сообщение Котяра » 19 июн 2017, 16:22

iqfun:
19 июн 2017, 15:06
Для этого я ссылку и дал...
В ссылке предложение "скачать"! Оно конечно заманчиво, но я думал, что Вы так ответите. :)
не будь скотом! когда с котом >^^<

Аватара пользователя
Сергей Титов
-
Сообщений в теме: 1
Всего сообщений: 5083
Зарегистрирован: 13.04.2013
Образование: высшее естественно-научное
Откуда: Томск
Re: Составил список слов романа "Мастер и Маргарита"

Сообщение Сергей Титов » 19 июн 2017, 16:30

А меня вот что заинтересовало:
вы пользуетесь этой статистикой на свой страх и риск.
:o

Аватара пользователя
vadim_i_z
-
Сообщений в теме: 4
Всего сообщений: 7791
Зарегистрирован: 27.09.2006
Образование: высшее естественно-научное
Откуда: Минск, Беларусь
Возраст: 62
Re: Составил список слов романа "Мастер и Маргарита"

Сообщение vadim_i_z » 19 июн 2017, 21:27

Сергей Титов, это как раз правильно. Вы напишете на основе статистики диссертацию, потом оказывается, что программа дала сбой и вы подаете в суд на автора. Ему, как говорится, это надо? :)
iqfun, Ваша программа, судя по списку слов, не учитывает морфологию. Слова "мастер", "мастеру", "мастера" и т.п. считаются разными. Мне кажется, корректнее считать их вместе. Не переделать ли программу в таком духе?

Аватара пользователя
Автор темы
iqfun
поэт-прозаик
поэт-прозаик
Сообщений в теме: 8
Всего сообщений: 217
Зарегистрирован: 22.07.2012
Образование: высшее техническое
Профессия: программист-любитель
Откуда: Россия
Re: Составил список слов романа "Мастер и Маргарита"

Сообщение iqfun » 20 июн 2017, 11:04

> вы пользуетесь этой статистикой на свой страх и риск.

Это стандартная фраза из лицензии на практич. любую программу...

DISCLAIMER

THE SOFTWARE PRODUCT IS PROVIDED "AS IS" WITHOUT
WARRANTY OF ANY KIND, EITHER EXPRESSED OR IMPLIED,
INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
PURPOSE. THE ENTIRE RISK AS TO THE QUALITY AND
PERFORMANCE OF THE PROGRAM IS WITH YOU.

Иначе любая софтверная контора, включая MS, была бы разорена судебными исками. Кто-то записал чью-то программу на диск, а потом уронил его себе на ногу, - виноват автор программы.

> Слова "мастер", "мастеру", "мастера" и т.п. считаются разными. Мне кажется, корректнее считать их вместе. Не переделать ли программу в таком духе?

При сортировке разные падежи слова находятся рядом, поэтому здесь нет особых проблем.
Разбор с использованием словаря - это уже совсем другая песня, которая делается за отдельные деньги... И притом, это где-то кем-то наверняка давно сделано... А я имел в виду идею составить большой список всех форм слов, в т. ч. имён собственных. Я такой список уже использовал в нахождении анаграмм и составлял анаграммные загадки. Но в том списке было много мусора.

Отправлено спустя 4 минуты 59 секунд:
Опа, а вот мне уже подсказали на др. форуме такую статистику:
fantlab.ru/work9164/lp

Отправлено спустя 19 минут 6 секунд:
Кстати, с пом. примерно такой машинной статистики устанавливают вероятного автора произведения. Где-то я читал, что Солженицын (кстати, его настоящее отчество не Исаевич, а Исаакиевич, так что делайте выводы :) ), будучи в США, отвалил денег одному институту, чтобы тот проверил авторство "Тихого Дона". Анализ вроде бы подтвердил авторство Шолохова. Обидно: продразвёрстчик, комми, алкаш, бабник, а пишет лучше...

Но Дм. Быков где-то на Ютюбе сказал, что человеческий анализ выявляет в ТД наличие 3-х авторов: есть первоначальный высокохудожественный текст, есть текст среднего писателя (возможно, Шолохова), а есть текст рабкоровского уровня, последующая вставка эпизода с великим и ужасным грузином.

daslex
ВПЗР
ВПЗР
Сообщений в теме: 5
Всего сообщений: 3035
Зарегистрирован: 07.02.2016
Образование: среднее
Re: Составил список слов романа "Мастер и Маргарита"

Сообщение daslex » 20 июн 2017, 11:42

vadim_i_z:
19 июн 2017, 21:27
Не переделать ли программу в таком духе?
По определённым причинам именно такое делать нецелесообразно.
Вообще, написание программы для работы с русским языком (даже элементарное правильное разбиение слов на слоги и некоторые другие простые с виду обывателя потребности) без искусственного интеллекта (а истинный ии пока ещё не изобретён) представляет собой написание огромного электронного словаря и оболочку для работы с ним. Пока словарь пишется, что-то меняется. Да и одно восприятие омонимов чего стоит.
iqfun:
20 июн 2017, 11:09
виноват автор программы.
В данном случае скорее виноват производитель диска.
Образование среднее-низшее.

Аватара пользователя
Автор темы
iqfun
поэт-прозаик
поэт-прозаик
Сообщений в теме: 8
Всего сообщений: 217
Зарегистрирован: 22.07.2012
Образование: высшее техническое
Профессия: программист-любитель
Откуда: Россия
Re: Составил список слов романа "Мастер и Маргарита"

Сообщение iqfun » 20 июн 2017, 12:13

Да, для разбора естественного языка естественный интеллект подходит больше, чем программка, написанная на коленке. :)

Аватара пользователя
vadim_i_z
-
Сообщений в теме: 4
Всего сообщений: 7791
Зарегистрирован: 27.09.2006
Образование: высшее естественно-научное
Откуда: Минск, Беларусь
Возраст: 62
Re: Составил список слов романа "Мастер и Маргарита"

Сообщение vadim_i_z » 21 июн 2017, 10:08

daslex, такие программы давно есть.
iqfun:
20 июн 2017, 11:28
Где-то я читал, что Солженицын
Читайте источники с проверенной репутацией.

daslex
ВПЗР
ВПЗР
Сообщений в теме: 5
Всего сообщений: 3035
Зарегистрирован: 07.02.2016
Образование: среднее
Re: Составил список слов романа "Мастер и Маргарита"

Сообщение daslex » 21 июн 2017, 10:49

Все эти программы работают с большим числом погрешности.

Отправлено спустя 31 минуту 22 секунды:
Хотя использовать готовое можно, уверять, что анализ точен на сто процентов, никого будет нельзя.
iqfun, Но Вы же можете на второй коленке использовать парсинг.
Бьём по буквам каждое слово и мучаем какой-нибудь http://morpher.ru/Demo.aspx жутким линейным поиском. Вадим станет доволен.
А то, что там приставки очень мешаться будут, мало кого интересует. Ведь всё есть.
Образование среднее-низшее.

Аватара пользователя
Автор темы
iqfun
поэт-прозаик
поэт-прозаик
Сообщений в теме: 8
Всего сообщений: 217
Зарегистрирован: 22.07.2012
Образование: высшее техническое
Профессия: программист-любитель
Откуда: Россия
Re: Составил список слов романа "Мастер и Маргарита"

Сообщение iqfun » 21 июн 2017, 11:32

Нет, вторая коленка болит, и на ней я не могу...

daslex
ВПЗР
ВПЗР
Сообщений в теме: 5
Всего сообщений: 3035
Зарегистрирован: 07.02.2016
Образование: среднее
Re: Составил список слов романа "Мастер и Маргарита"

Сообщение daslex » 21 июн 2017, 11:39

Ясно. Я несерьёзно это предложил, ведь тот сайт только существительные склоняет.
Образование среднее-низшее.

daslex
ВПЗР
ВПЗР
Сообщений в теме: 5
Всего сообщений: 3035
Зарегистрирован: 07.02.2016
Образование: среднее
Re: Составил список слов романа "Мастер и Маргарита"

Сообщение daslex » 21 июн 2017, 11:48

Мне интересно, как Вадим себе представляет разбор слов по типу "зАмок" и "замОк", "дУхи" и "духИ", и т. п. В реализации анализатора iqfun, конечно.
Образование среднее-низшее.

Аватара пользователя
vadim_i_z
-
Сообщений в теме: 4
Всего сообщений: 7791
Зарегистрирован: 27.09.2006
Образование: высшее естественно-научное
Откуда: Минск, Беларусь
Возраст: 62
Re: Составил список слов романа "Мастер и Маргарита"

Сообщение vadim_i_z » 21 июн 2017, 12:48

daslex, а при чем тут я? Спрашивайте автора программы.

Аватара пользователя
Автор темы
iqfun
поэт-прозаик
поэт-прозаик
Сообщений в теме: 8
Всего сообщений: 217
Зарегистрирован: 22.07.2012
Образование: высшее техническое
Профессия: программист-любитель
Откуда: Россия
Re: Составил список слов романа "Мастер и Маргарита"

Сообщение iqfun » 21 июн 2017, 13:08

Омонимы мало испортят картину, а с ними нужен семантический анализ.

daslex
ВПЗР
ВПЗР
Сообщений в теме: 5
Всего сообщений: 3035
Зарегистрирован: 07.02.2016
Образование: среднее
Re: Составил список слов романа "Мастер и Маргарита"

Сообщение daslex » 21 июн 2017, 15:06

Ну, Вадим, Вы тут, при вот таком типе слов: "зло" и "взлом", "пара" и то ли "пАром", то ли "пАрой". Это риторическое сообщение, следствие предложенного.
Образование среднее-низшее.

Аватара пользователя
vadim_i_z
-
Сообщений в теме: 4
Всего сообщений: 7791
Зарегистрирован: 27.09.2006
Образование: высшее естественно-научное
Откуда: Минск, Беларусь
Возраст: 62
Re: Составил список слов романа "Мастер и Маргарита"

Сообщение vadim_i_z » 21 июн 2017, 21:28

daslex, ничего не понял. Ну, раз сообщение риторическое, отвечать не стану :-)

Аватара пользователя
Владимир Липатов
лауреат и орденоносец
лауреат и орденоносец
Сообщений в теме: 3
Всего сообщений: 689
Зарегистрирован: 21.07.2016
Образование: высшее техническое
Re: Составил список слов романа "Мастер и Маргарита"

Сообщение Владимир Липатов » 23 июн 2017, 08:35

iqfun:
19 июн 2017, 14:55
Написал маленькую программку и составил список слов и небольшую статистику романа "Мастер и Маргарита". Интересно посмотреть частоты появления некоторых слов. Напр., слова "мастер"/"Мастер" встречаются всего 90 раз, а "Маргарита" целых 420 раз! Планирую составить аналогичную статистику такой известной классики, как "Евгений Онегин", "Мёртвые души", "Война и мир", ...
Вы - молодец!
Посмотрите в сети материалы о системе перевода PRAVDA профессора Дмитрия Анисимова.
Мы с ним недавно обсуждали проблему омонимов на RSDN.RU
Кстати, он нормально оценил мои работы по Семантической алгебре.
А мне бы интересно и Ваше мнение услышать.
Семантическая алгебра
ложь выигрывает сражение, правда побеждает войну. (мои слова)

Аватара пользователя
Автор темы
iqfun
поэт-прозаик
поэт-прозаик
Сообщений в теме: 8
Всего сообщений: 217
Зарегистрирован: 22.07.2012
Образование: высшее техническое
Профессия: программист-любитель
Откуда: Россия
Re: Составил список слов романа "Мастер и Маргарита"

Сообщение iqfun » 23 июн 2017, 10:07

Спасибо за лестный отзыв, но такими вещами надо заниматься, если имеешь устойчивый доход (от этих или др. вещей, которые отнимают мало времени), а я вообще-то по соцстатусу безработный...

Пока занимаюсь всякой ерундой для развлечения, напр., написал на ассемблере консольную программку размером в 6.5 Кб под Win64 для демонстрации, которая быстро сжимает файл методом типа LZ77 (напр., 100 млн байтов англ. Википедии в xml за 0.82 с. почти вдвое на ЦП 3 ГГц и ОЗУ 1.6 ГГц). Есть идея более быстрой программки, но жаль тратить время... Скачать программку можно здесь. Эта программка использует набор команд AVX, поэтому ваш ЦП должен иметь модель, которую начали выпускать в 2011 г. или позже. См. списочек здесь.

Но более этого хочется сделать мультфильм о Ш. Холмсе, сценарий и текст песенки я уже создал, нашёл на "Неизвестном гении" композитора. Авось смогу это сделать и что-то на этом заработать...

Ответить Пред. темаСлед. тема
  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение
  • Кое-что о толкованиях романа "Мастер и Маргарита"
    10 Ответы
    546 Просмотры
    Последнее сообщение Котяра
    12 июл 2016, 20:03
  • Мастер/78 @ Маргарита/87
    Кеша » 30 дек 2018, 18:55 » в форуме Глас народа
    0 Ответы
    1875 Просмотры
    Последнее сообщение Кеша
    30 дек 2018, 18:55
  • Мастер и Маргарита
    Avgust » 16 ноя 2013, 16:57 » в форуме Интересное в литературе
    57 Ответы
    4231 Просмотры
    Последнее сообщение BWM
    31 янв 2018, 03:50
  • "Мастер и Маргарита" и школьная программа
    Кемерово » 28 янв 2010, 21:35 » в форуме Интересное в литературе
    57 Ответы
    10154 Просмотры
    Последнее сообщение Волчица
    24 апр 2018, 06:49
  • "Мастер и Маргарита" на TV
    Светлана Старцева » 20 дек 2005, 17:25 » в форуме Литература в кино
    30 Ответы
    11247 Просмотры
    Последнее сообщение Nastasya F.
    23 янв 2018, 23:59