Составил список слов романа "Мастер и Маргарита"

Сообщение **iqfun** » 19 июн 2017, 14:55

Написал маленькую программку и составил список слов и небольшую статистику романа "Мастер и Маргарита". Интересно посмотреть частоты появления некоторых слов. Напр., слова "мастер"/"Мастер" встречаются всего 90 раз, а "Маргарита" целых 420 раз! Планирую составить аналогичную статистику такой известной классики, как "Евгений Онегин", "Мёртвые души", "Война и мир", ...

Любопытно, а Воланд, Иешуа Га-Ноцри и др. сколько раз?

Сообщение **iqfun** » 19 июн 2017, 15:06

Для этого я ссылку и дал...

iqfun: ↑19 июн 2017, 15:06Для этого я ссылку и дал...

В ссылке предложение "скачать"! Оно конечно заманчиво, но я думал, что Вы так ответите.

А меня вот что заинтересовало:

вы пользуетесь этой статистикой на свой страх и риск.

Сообщение **vadim_i_z** » 19 июн 2017, 21:27

Сергей Титов, это как раз правильно. Вы напишете на основе статистики диссертацию, потом оказывается, что программа дала сбой и вы подаете в суд на автора. Ему, как говорится, это надо?

iqfun, Ваша программа, судя по списку слов, не учитывает морфологию. Слова "мастер", "мастеру", "мастера" и т.п. считаются разными. Мне кажется, корректнее считать их вместе. Не переделать ли программу в таком духе?

Сообщение **iqfun** » 20 июн 2017, 11:04

> вы пользуетесь этой статистикой на свой страх и риск.

Это стандартная фраза из лицензии на практич. любую программу...

DISCLAIMER

THE SOFTWARE PRODUCT IS PROVIDED "AS IS" WITHOUT
WARRANTY OF ANY KIND, EITHER EXPRESSED OR IMPLIED,
INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
PURPOSE. THE ENTIRE RISK AS TO THE QUALITY AND
PERFORMANCE OF THE PROGRAM IS WITH YOU.

Иначе любая софтверная контора, включая MS, была бы разорена судебными исками. Кто-то записал чью-то программу на диск, а потом уронил его себе на ногу, - виноват автор программы.

> Слова "мастер", "мастеру", "мастера" и т.п. считаются разными. Мне кажется, корректнее считать их вместе. Не переделать ли программу в таком духе?

При сортировке разные падежи слова находятся рядом, поэтому здесь нет особых проблем.
Разбор с использованием словаря - это уже совсем другая песня, которая делается за отдельные деньги... И притом, это где-то кем-то наверняка давно сделано... А я имел в виду идею составить большой список всех форм слов, в т. ч. имён собственных. Я такой список уже использовал в нахождении анаграмм и составлял анаграммные загадки. Но в том списке было много мусора.

Отправлено спустя 4 минуты 59 секунд:
Опа, а вот мне уже подсказали на др. форуме такую статистику:
fantlab.ru/work9164/lp

Отправлено спустя 19 минут 6 секунд:
Кстати, с пом. примерно такой машинной статистики устанавливают вероятного автора произведения. Где-то я читал, что Солженицын (кстати, его настоящее отчество не Исаевич, а Исаакиевич, так что делайте выводы

), будучи в США, отвалил денег одному институту, чтобы тот проверил авторство "Тихого Дона". Анализ вроде бы подтвердил авторство Шолохова. Обидно: продразвёрстчик, комми, алкаш, бабник, а пишет лучше...

Но Дм. Быков где-то на Ютюбе сказал, что человеческий анализ выявляет в ТД наличие 3-х авторов: есть первоначальный высокохудожественный текст, есть текст среднего писателя (возможно, Шолохова), а есть текст рабкоровского уровня, последующая вставка эпизода с великим и ужасным грузином.

Сообщение **daslex** » 20 июн 2017, 11:42

vadim_i_z: ↑19 июн 2017, 21:27Не переделать ли программу в таком духе?

По определённым причинам именно такое делать нецелесообразно.
Вообще, написание программы для работы с русским языком (даже элементарное правильное разбиение слов на слоги и некоторые другие простые с виду обывателя потребности) без искусственного интеллекта (а истинный ии пока ещё не изобретён) представляет собой написание огромного электронного словаря и оболочку для работы с ним. Пока словарь пишется, что-то меняется. Да и одно восприятие омонимов чего стоит.

iqfun: ↑20 июн 2017, 11:09виноват автор программы.

В данном случае скорее виноват производитель диска.

Сообщение **iqfun** » 20 июн 2017, 12:13

Да, для разбора естественного языка естественный интеллект подходит больше, чем программка, написанная на коленке.

Сообщение **vadim_i_z** » 21 июн 2017, 10:08

daslex, такие программы давно есть.

iqfun: ↑20 июн 2017, 11:28Где-то я читал, что Солженицын

Читайте источники с проверенной репутацией.

Сообщение **daslex** » 21 июн 2017, 10:49

Все эти программы работают с большим числом погрешности.

Отправлено спустя 31 минуту 22 секунды:
Хотя использовать готовое можно, уверять, что анализ точен на сто процентов, никого будет нельзя.
iqfun, Но Вы же можете на второй коленке использовать парсинг.
Бьём по буквам каждое слово и мучаем какой-нибудь http://morpher.ru/Demo.aspx жутким линейным поиском. Вадим станет доволен.
А то, что там приставки очень мешаться будут, мало кого интересует. Ведь всё есть.

Сообщение **iqfun** » 21 июн 2017, 11:32

Нет, вторая коленка болит, и на ней я не могу...

Сообщение **daslex** » 21 июн 2017, 11:39

Ясно. Я несерьёзно это предложил, ведь тот сайт только существительные склоняет.

Сообщение **daslex** » 21 июн 2017, 11:48

Мне интересно, как Вадим себе представляет разбор слов по типу "зАмок" и "замОк", "дУхи" и "духИ", и т. п. В реализации анализатора iqfun, конечно.

Сообщение **vadim_i_z** » 21 июн 2017, 12:48

daslex, а при чем тут я? Спрашивайте автора программы.

Сообщение **iqfun** » 21 июн 2017, 13:08

Омонимы мало испортят картину, а с ними нужен семантический анализ.

Сообщение **daslex** » 21 июн 2017, 15:06

Ну, Вадим, Вы тут, при вот таком типе слов: "зло" и "взлом", "пара" и то ли "пАром", то ли "пАрой". Это риторическое сообщение, следствие предложенного.

Сообщение **vadim_i_z** » 21 июн 2017, 21:28

daslex, ничего не понял. Ну, раз сообщение риторическое, отвечать не стану

iqfun: ↑19 июн 2017, 14:55 Написал маленькую программку и составил список слов и небольшую статистику романа "Мастер и Маргарита". Интересно посмотреть частоты появления некоторых слов. Напр., слова "мастер"/"Мастер" встречаются всего 90 раз, а "Маргарита" целых 420 раз! Планирую составить аналогичную статистику такой известной классики, как "Евгений Онегин", "Мёртвые души", "Война и мир", ...

Вы - молодец!
Посмотрите в сети материалы о системе перевода PRAVDA профессора Дмитрия Анисимова.
Мы с ним недавно обсуждали проблему омонимов на RSDN.RU
Кстати, он нормально оценил мои работы по Семантической алгебре.
А мне бы интересно и Ваше мнение услышать.
Семантическая алгебра

Сообщение **iqfun** » 23 июн 2017, 10:07

Спасибо за лестный отзыв, но такими вещами надо заниматься, если имеешь устойчивый доход (от этих или др. вещей, которые отнимают мало времени), а я вообще-то по соцстатусу безработный...

Пока занимаюсь всякой ерундой для развлечения, напр., написал на ассемблере консольную программку размером в 6.5 Кб под Win64 для демонстрации, которая быстро сжимает файл методом типа LZ77 (напр., 100 млн байтов англ. Википедии в xml за 0.82 с. почти вдвое на ЦП 3 ГГц и ОЗУ 1.6 ГГц). Есть идея более быстрой программки, но жаль тратить время... Скачать программку можно здесь. Эта программка использует набор команд AVX, поэтому ваш ЦП должен иметь модель, которую начали выпускать в 2011 г. или позже. См. списочек здесь.

Но более этого хочется сделать мультфильм о Ш. Холмсе, сценарий и текст песенки я уже создал, нашёл на "Неизвестном гении" композитора. Авось смогу это сделать и что-то на этом заработать...

iqfun: ↑23 июн 2017, 10:07 Спасибо за лестный отзыв, но такими вещами надо заниматься, если имеешь устойчивый доход (от этих или др. вещей, которые отнимают мало времени), а я вообще-то по соцстатусу безработный...

Пока занимаюсь всякой ерундой для развлечения, напр., написал на ассемблере консольную программку размером в 6.5 Кб под Win64 для демонстрации, которая быстро сжимает файл методом типа LZ77 (напр., 100 млн байтов англ. Википедии в xml за 0.82 с. почти вдвое на ЦП 3 ГГц и ОЗУ 1.6 ГГц.) Есть идея более быстрой программки, но жаль зря тратить время... Скачать программку можно здесь.

Но более этого хочется сделать мультфильм о Ш. Холмсе, сценарий и текст песенки я уже создал, нашёл на "Неизвестном гении" композитора. Авось смогу это сделать и что-то на этом заработать...

Приветствую Вас.
Я тоже программист. Моя специализация - интерактивная графика.
Однако моё участие в открытом проекте сильно подвинуло моё мировоззрение.
Теперь я 10 лет без работы.
А программированием иногда балуюсь.
Вот богословие, литература и семантика - это серьёзно. Потому что это даёт опору.

Мультик о Холмсе - прекрасная идея!
Рекомендую зарегистрировать сценарий на proza.ru samlib.ru
Кроме этого студия союзмультфильм регулярно проводит конкурс сценариев.
Желаю Вам успехов!!!

Сообщение **iqfun** » 25 июн 2017, 10:37

> А какой смысл такую статистику вести?

Для любопытства. И чтобы составить список слов (собственных и т.п.), которых нет в словаре Зализняка. С таким списком можно, напр., составлять анаграммные загадки нового типа. В конце надо вставить анаграмму к выделенному слову. Вот мои примеры из истории, построения социализма и коммунизма в СССР:

Гай Юлий Цезарь вызвал БРУТА:
"Вся знать шпионами "обута",
Идёт придворная борьба,
И если ты, то мне ...!"

Его творенья, как ПУШИНКА,
И невозможна в них соринка,
Его стихи крутей кина,
За это любим ...

Для ловли счастья и невест
В Россию высажен ДЕСАНТ,
А это что за педе... франт?
А, это сын посла ...!

Кирсанов Паша отдыхал,
Курил сигары, девок лапал,
А дед Базарова ПАХАЛ,
Держа чапиги в крепких ...

Она - по матери Макулич -
В градоначальника - пиф-паф!
Но Кони ЗАСУЧИЛ рукав,
И им отмазана ...

Самодержавие раз АТАКУЯ,
Долго бродил я в горах ...

Она в Одессе бешено
Всё офицеров ВЕШАЛА,
Дивились все забаве:
Всё нипочём ...!

Чапаев с Анкой СУТРЫ
Учил из "Камасутры".
Комдив подкручивал усы,
Сняв с пулемётчицы ...

Попав в средневековый СУМРАК,
Наделали ошибок массу,
А начинал какой-то умник,
Поверив свято Карлу ...

Сурово сдвинем брови:
Да, будет много КРОВИ!
Сейчас не до зефиров -
Убит товарищ ...!

Вот поворот наш НОВЫЙ,
Народ на всё готовый,
Всё приговаривали мы,
"Ох, лишь бы не было ...!"

Пусть звёзды все в РУБИНАХ,
Есть бдительность в грузинах:
Ага, попался, Каин,
Троцкистский гад ...!

Нам, работникам КАЙЛА,
Партия наказ дала:
Грунт долби, не отдыхай,
И баланду знай ...!

Не миновали злого рока,
Теперь в глаза глядим мы в оба,
И вышел супротив фон БОКА
Наш гений полководец ...

Грузины от страны отстали,
И дни Никитины НАСТАЛИ.
Вот оттепель, проталина,
Приказ на вынос ...

Привет тебе, МЫКОЛА,
Лысенковская школа!
В стране ещё полно г##на,
Но стала дальше ...

Я - весь благоговение,
Но с думою о ЛЕНИНЕ:
"Твой ум, товарищ Ленин,
Не слишком ли ...?"

Вот после многолетней скорби
У власти - лучший немец ГОРБИ.
С Калининграда до Оби
Он только знай страну ...

Мы через много ПАУТИН
Идём, вдыхая никотин,
И вот опять хомутина:
"Проголосуй за ...!"

В деревню прибыли два типа
И к деду подошли АНТИПУ:
"Бери поллитру, старина,
И голосуй за ...!"

Он с фрицем выпил пива ПИНТУ
За "Северный поток", за свиту,
Ведь европейцам он попутен,
Такой вот он, парняга ...!

Спросил у Родины я, нуден:
- Кто будет Президентом, ПУТИН? -
И Мать сказала, сняв зипун:
- Да на язык тебе ...!

Если испытываете затруднения, то ищите мою статью "Анаграммы. Все анаграммы онлайн!" и по ссылке в ней скачивайте мой большой список всех анаграмм (правда, с мусорком, который присутствовал в исходных текстах).

Вот более крутое развлечение, придуманное мной: написать стишок, в котором в каждой строке будет минимум пара анаграмм. См. мои примеры на другом моём сайте со словесными и литературными играми для интеллектуалов.

> Мультик о Холмсе - прекрасная идея!
Рекомендую зарегистрировать сценарий на proza.ru samlib.ru
Кроме этого студия союзмультфильм регулярно проводит конкурс сценариев.

Спасибо, я очень далёк от мнения, что proza.ru (см. мой раздел), как и stihi.ru будут защищать авторов, не думаю, что эти регистрации примут в суде, для "Союзмультфильма" такой сценарий не подойдёт (слишком умно = будет мало денег), да и жаль его раскрывать, а для меня он будет как раз.

Мне понравились Ваши анаграммы. Спасибо!
Можно я тоже попробую.
Только не в политике, а в религии:

Господь сказал - продай, отдай.
Иначе Вам не светит Рай.
Тогда на паперти поймёшь,
Как обманул тебя Иисус.

Отправлено спустя 34 минуты 21 секунду:

Социальное давление -
Разновидность преступления!
Иисус Христос спасибо скажет,
И путь к надгробию укажет.

Сообщение **tamplquest** » 24 сен 2018, 18:57

iqfun: ↑20 июн 2017, 11:28 Иначе любая софтверная контора, включая MS, была бы разорена судебными исками. Кто-то записал чью-то программу на диск, а потом уронил его себе на ногу, - виноват автор программы.

Да ладно, по этой логике вообще может от любых гарантий отказаться? Это просто прикрытие рукожопия.
Майкрософт, кстати, по-моему, кое какие гарантии все таки дает

Составил список слов романа "Мастер и Маргарита" ⇐ В мире компьютеров