Математические зарисовки ⇐ Другие темы о русской словесности и культуре

[Таланов]

покажите решения без косяков

Если вы знакомы с теорией аппроксимации функций распределения, то правильное решение сможете найти сами, оно совпадает с моим.
Если не знакомы, то техника нахождения решения следующая:
1. Выбираете закон распределения из известных, похожий на гистограмму;
2. Методом моментов, квантилей или максимального правдоподобия находите параметры закона распределения;
3. Проверяете гипотезу о принадлежности выборочного распределения к выбранному;
4. Если гипотеза не опровергается задача решена, в противном случае переходите к п.1. и повторяете цикл для другого закона.

[rusak]

Таланов, вот это и есть допотопный метод аппроксимации вслепую: чуточку похожая, через метод моментов, через гипотезы и перебора скудных примитивных "законов". То есть, не дай бог производить тут прогресс! А потом удивляемся, почему так много брака и поломок вещей, рассчитанных по рекомендации дремучего консерватора и ярого догматика. И невдомек этому законсервированному, что все наоборот: чем точнее аппроксимировать F какой угодно формулой, тем лучше её производная повторяет гистограмму и также лучше совпадают все моменты.

[rusak]

Попросили аппроксимировать результаты испытаний:

[Таланов]

чем точнее аппроксимировать F какой угодно формулой

Так у вас и получается, какой угодно функцией и как попало.

лучше совпадают все моменты

А что вам мешает подобрать параметры функции распределения чтобы все моменты в точности совпали?

[rusak]

А что вам мешает подобрать параметры функции распределения чтобы все моменты в точности совпали?

Это редко удается, особенно такому слабому специалисту, как Вы.
У меня же все отработано настолько четко и точно, что многие рты открывают от удивления. Доказано уже не на десятках, а на сотнях примерах.

[Таланов]

Это редко удается

Это удаётся всегда. Возьмите и приравняйте. Решите систему уравнений, найдите параметры.

все отработано настолько четко и точно, что многие рты открывают от удивления.

Наверное эти многие совсем не ориентируются в математике.

[rusak]

Таланов, сначала покажите Ваши некорявые варианты (по моим последним задачам), а потом только ля-ля лейте.

[Таланов]

покажите Ваши некорявые варианты

Если вы знакомы с теорией аппроксимации функций распределения, то правильное решение сможете найти сами, оно совпадает с моим.

[rusak]

Надоело болтать с болтуном, возвращаюсь к задаче. Делаю вывод, что набор точек

может быть аппроксимирован формулой с числом параметров не менее пяти. Причём при малых иксах наблюдается почти линейность. Такая формула у меня есть. План прост и одновременно труден: составить систему пяти чрезвычайно нелинейных уравнений и попытаться численно её решить.

[rusak]

Вольфрам отказывается решать систему нелинейных уравнений:
b/v=1.484,(0.6^a+b)/(c*0.6^d+v)=1.9452,(1.1^a+b)/(c*1.1^d+v)=0.6957,(1.6^a+b)/(c*1.6^d+v)=0.0607,(2.1^a+b)/(c*2.1^d+v)=0.0085
Поэтому решаю своим методом Монте Карло:
Создаю файл данных по пяти точкам с именем "5-5.txt":

0 1.484
0.6 1.9452
1.1 0.6957
1.6 0.0607
2.1 0.0085
Пишу текст программы на языке Yabasic^

open #1,"5-5.txt","r"
open #2,"50-5.txt","w"
n=5
dim x(30),F(30)
for i=1 to n
input #1 x,F
x(i)=x:F(i)=F
next i
nn=5000000
s1=10^20
z=0.001
a0=1:b0=1:c0=1:d0=1:v0=1
for j=1 to nn
a=a0*(1+z*(ran()-0.5))
b=b0*(1+z*(ran()-0.5))
c=c0*(1+z*(ran()-0.5))
d=d0*(1+z*(ran()-0.5))
v=v0*(1+z*(ran()-0.5))
s=0
for i=1 to n
x=x(i)
y=(x^a+b)/(c*x^d+v)
s=s+(F(i)-y)^2
next i
if s<s1 then s1=s
v0=v:a0=a:b0=b:c0=c:d0=d
vk=v:ak=a:bk=b:ck=c:dk=d
print a,b,c,d,v,s
if s<1/10^5 then z=0.00001:fi
fi
next j
print #2,ak,bk,ck,dk,vk,sk
print #2
for x=0 to 2.4 step 0.1
y=(x^ak+bk)/(ck*x^dk+vk)
print x using "#.##",y using "##.####"
print #2,x using "#.##",y using "##.####"
next x

Эта прога с легкостью справляется с задачей (привет Вольфраму!):

Я убедился, что формула хорошо согласуется со всеми точками и уже принял для аппроксимации все 24 точки.

0.0 1.484
0.1 1.586
0.2 1.673
0.3 1.755
0.4 1.833
0.5 1.902
0.6 1.945
0.7 1.924
0.8 1.777
0.9 1.469
1.0 1.067
1.1 0.696
1.2 0.427
1.3 0.257
1.4 0.156
1.5 0.096
1.6 0.061
1.7 0.039
1.8 0.026
1.9 0.018
2.0 0.012
2.1 0.008
2.2 0.006
2.3 0.004

Окончательно получил формулу



Проверил - точки хорошо ложатся на кривую. Об этом красноречиво говорит сумма квадратов отклонений
0.00000134

[Таланов]

Проверил - точки хорошо ложатся на кривую. Об этом красноречиво говорит сумма квадратов отклонений
0.00000134

Я бы сказал чрезвычайно (подозрительно) хорошо. Сумма квадратов отклонений исходных данных за счёт округления до тысячных уже даёт 0,00000209.

[rusak]

Таланов, подозревайте и дальше. А я продолжу. По ссылке
https://math.stackexchange.com/question ... redirect=1
дается гладкая гистограмма - речь о населении. Вот рисунок:

Через пикселы составил координаты 16 точек в серединах интервалов:
16
0.5 5
1.5 61
2.5 166
3.5 233
4.5 236
5.5 194
6.5 111
7.5 91
8.5 57
9.5 21
10.5 18
11.5 10
12.5 5
13.5 3
14.5 2
15.5 1

Ну, давайте, Таланов, покажите свою некорявость! Я приступлю только завтра к задаче. Интересно, у кого получится лучше аппроксимация? Или опять трусость покажете?

[Таланов]

Интересно, у кого получится лучше аппроксимация?

Естественно у вас будет меньше сумма квадратов невязок при 4-х параметрах. А правильная аппроксимация по ссылке уже дана, это гамма распределение с двумя параметрами.

[rusak]

Таланов, Вы правильно говорите: у меня лучше, чем гамма-распределение.
Потому что мои формулы лучше. Прогресс налицо. Я не поленился и запустил-таки программу,
которая через минуту все сразу выдала:



Сумма квадратов отклонений 0.0001463

Точка максимума (3.9212, 0.2023)
https://www.wolframalpha.com/input/?i=p ... 54..3.922)

А гамма-распределение значительно хуже смотрится, между прочим.
И точка максимума иная.
И сумма квадратов отклонений значительно больше.
Но уж сами постройте и посмотрите.

[Таланов]

Но уж сами постройте

Я так понимаю что функции распределения известного вида вы аппроксимировать не умеете.

[Таланов]

А гамма-распределение значительно хуже смотрится, между прочим.

Слова не матстатистика, но дилетанта.

[Таланов]

И сумма квадратов отклонений значительно больше.

Это как раз объяснимо, вы в очередной раз помехи за полезный сигнал приняли.

Потому что мои формулы лучше. Прогресс налицо.

Да, прогресс деградации действительно наблюдается.

[rusak]

вы в очередной раз помехи за полезный сигнал приняли.

Вот уж нет! Посмотрите на мою кривую внимательно: идеальней провести линию просто невозможно.

[Таланов]

Посмотрите на мою кривую внимательно: идеальней провести линию просто невозможно.

Ну почему же? Кривая плотности гамма-распределения тоже неплохо смотрится. Но в матстатистике это слова, а нужны числа. Сумма квадратов невязок, которую вы минимизируете, это фактически остаточная дисперсия, содержащая статистический шум и неучтённый полезный сигнал. Слишком большая дисперсия плохо, скорее всего выбрана неадекватная аппроксимирующая модель. Малая дисперсия тоже плохо, это означает что вы в параметры аппроксимирующей модели вогнали статистический мусор, присущий только данному случайному выборочному распределению, что у вас постоянно и происходит. Как же найти оптимум? Для этого следует проверять гипотезы о принадлежности выборочного распределения аппроксимирующему, но вы этого делать категорически не умеете. Так что все ваши аппроксимации можно смело выкидывать на помойку, так как практической ценности они не представляют. А поскольку вдобавок они получены методом, для этого не предназначенным их нужно выкинуть на помойку ещё один раз.

[rusak]

Кривая плотности гамма-распределения тоже неплохо смотрится.

Смотрится значительно хуже. У меня сопоставление с точками есть. Вот у Вас - вряд ли, поскольку чушь говорите. Ну, а об остальном Вашем наукообразии средних веков рассуждать более чем смешно.

[Таланов]

об остальном Вашем наукообразии средних веков рассуждать более чем смешно.

Я это уже давно не вам объясняю, ибо бесполезно, а для тех, кто заглядывает в эту ветку, дабы поняли в чём заключается ваше невежество и элементарная математическая безграмотность. Допустим, методом моментов или максимального правдоподобия проведена аппроксимация выборочной функции распределения. Строго доказано (см. учебники) что эти оценки являются несмещёнными, состоятельными и эффективными. Вы поиск аппроксимации неправомерно осуществляете по МНК и таким образом получаете смещённые, несостоятельные и неэффективные оценки параметров функции распределения.

[rusak]

Говорю для тех, кто сюда заглядывает. Есть такая область в математике, как аппроксимация, цель которой одна: подобрать формулу, которая наилучшим образом сглаживает все точки и физически правильно отображает граничные условия. Это написано во всех учебниках. Оценки несмещенные, состоятельные и эффективные придуманы для того, чтобы крайне некачественные гистограммы хоть как-то притянуть к древним, малопараметрическим законам распределения. Выдуманы всякие хитрые критерии правдоподобия.
Я же категорически неприемлю кривозубые гистограммы и много времени тестирую свои главные четыре формулы распределения на качественных гладких столбиках. В данном случае задача уже чисто аппроксимационная. Любым возможным способом ищется формула, которая обеспечивает минимальные невязки между гладкой кривой и экспериментальными точками. Делается это обязательно по интегральным точкам F , дабы исключить произвол, о котором я на всех страницах и со всех утюгов транслирую. В результате должно быть: производная f визуально и логически четко сглаживает точки гистограммы (об этом тоже учебники настаивают). Только что я рассмотрел пример и покажу на нем подтверждение вышесказанного. По ссылке:
https://pda.diary.ru/~Megatherium/?orde ... nd&from=40
(самая последняя статья)
нашел гладкую функцию плотности вероятности f и, полагая что это будто эксперименты, по пикселам определяю точки:

Точки эти такие (файл "LN.txt"):
21
0.05 17
0.15 336
0.25 414
0.35 334
0.45 237
0.55 160
0.65 110
0.75 75
0.85 51
0.95 36
1.05 25
1.15 18
1.25 13
1.35 10
1.45 8
1.55 6
1.65 4
1.75 3
1.85 3
1.95 2
2.05 2
Далее, по моей коронной проге рассчитываю методом Монте Карло оптимальные параметры для моих же коронных четырех формул функции обеспеченности.

open #1,"LN.txt","r"
open #2,"LN-4a.txt","w"
nn=9000000
input #1 n
dim x(3000),F(3000),FF(3000),xf(3000),xFF(3000),f0(3000)
print "ZADANNAJA GISTOGRAMMA CHASTOT"
print #2, "ZADANNAJA GISTOGRAMMA CHASTOT"
print
print #2
for i=1 to n
input #1 xf(i),F(i)
print xf(i),F(i)
print #2, xf(i),F(i)
FF=FF+F(i)
FF(i)=FF
next i
print
print #2
print "VSEGO NABLUDENIY N = ";:PRINT FF
print #2, "VSEGO NABLUDENIY N = ";:PRINT #2, FF
print
print #2
print "POSTROENIE OBESPECHENNOSTY (delim na N+1)"
print #2, "POSTROENIE OBESPECHENNOSTY (delim na N+1)"
print
print #2
dx=xf(2)-xf(1)
for i=1 to n
FF(i)=FF(i)/(FF+1)
xFF(i)=xf(i)+dx/2
print xFF(i),FF(i)
print #2, xFF(i),FF(i)
next i
print
print #2
print "POSTROENIE GISTOGRAMMI"
print #2, "POSTROENIE GISTOGRAMMI"
print
print #2
f0(1)=FF(1)/dx
print xf(1),f0(1)
print #2, xf(1),f0(1)
for i=2 to n
f0(i)=(FF(i)-FF(i-1))/dx
print xf(i),f0(i)
print #2, xf(i),f0(i)
next i
print
print #2
for v=1 to 4
s1=10^20
z=0.001
a0=1:b0=1:c0=1:d0=1
for j=1 to nn
a=a0*(1+z*(ran()-0.5))
b=b0*(1+z*(ran()-0.5))
c=c0*(1+z*(ran()-0.5))
d=d0*(1+z*(ran()-0.5))
s=0
for i=1 to n
x=xFF(i)
if v=1 then y=(1-exp(-(x/a)^b))^c:fi
if v=2 then y=1-(((x/a)^b+1)^(-(x/c)))^d:fi
if v=3 then y=(1-((x/a)^b+1)^(-c))^d:fi
if v=4 then y=1-exp(-a*atan((x/b)^c)^d):fi
s=s+(FF(i)-y)^2
next i
if s<s1 then s1=s
a0=a:b0=b:c0=c:d0=d
ak=a:bk=b:ck=c:dk=d:sk=s
rem if v=1 then print a,b,c,s else print a,b,c,d,s:fi
fi
next j
print "FORMULA ";:print v;:print " ";
print #2, "FORMULA ";:print #2, v;:print #2, " ";
if v=1 then print ak,bk,ck,sk:fi
if v<>1 then print ak,bk,ck,dk,sk:fi
if v=1 then print #2, ak,bk,ck,sk:fi
if v<>1 then print #2, ak,bk,ck,dk,sk:fi
next v
print #2
print #2, "F1=(1-exp(-(x/a)^b))^c "
print #2, "F2=1-(((x/a)^b+1)^(-(x/c)))^d "
print #2, "F3=(1-((x/a)^b+1)^(-c))^d "
print #2, "F4=1-exp(-a*atan((x/b)^c)^d) "

В данном случае выиграла первая трехпараметрическая формула (сумма квадратов отклонений 0.000175). Производную этой формулы сравнил с полученными мной точками:

Самое интересное вот что: я обычно еще до начала расчетов от руки карандашом черчу функцию плотности так, чтобы визуально ощущалась оптимальность. Как художнику и математику это мне хорошо удается. А после расчетов сравниваю рисунки и почти всегда вижу идентичность.
Таланов же со своими заумностями ни за что оптимальность не получает. Потому что стоит на плечах устаревших гигантов.
Рискну обратиться к Таланову: а постройте свою кривую по приведенным 21 точкам и дайте сравнительный рисунок! И тогда читатели увидят, кто специалист, а кто так себе...

[Таланов]

Рискну обратиться к Таланову: а постройте свою кривую по приведенным 21 точкам и дайте сравнительный рисунок!

По вашей ссылке приведён график логнормального распределения. Автор использует его в качестве гипотетического. Там всего два параметра. Если вы правильно их найдёте, то получите сумму квадратов невязок равную почти нулю. Не точно нулю за счёт погрешности представления кривой, оцифровки данных и округления.

[rusak]

Таланов, Я о другом. Допустим, я не дал бы ссылку на статью. Дал бы только точки. Забудьте про лог. Какие Ваши действия по аппроксимации? Что бы Вы сделали некоряво? Сейчас же у Вас - традиционная болтовня, боязнь показать свою некомпетентность.

[Таланов]

Какие Ваши действия по аппроксимации?

Если вы знакомы с теорией аппроксимации функций распределения, то правильное решение сможете найти сами, оно совпадает с моим.
Если не знакомы, то техника нахождения решения следующая:
1. Выбираете закон распределения из известных, похожий на гистограмму;
2. Методом моментов, квантилей или максимального правдоподобия находите параметры закона распределения;
3. Проверяете гипотезу о принадлежности выборочного распределения к выбранному;
4. Если гипотеза не опровергается задача решена, в противном случае переходите к п.1. и повторяете цикл для другого закона.