Skip to Content
DevПесочница (dev)

Песочница (dev)

Служебная страница: сюда кладём новые виджеты, пока они не встроены в главы. Раздел content/dev/ и пункт в _meta.global.tsx можно удалить одним движением перед продом.

Solution

Условие видно сразу. Разбор открывается кнопкой. Звёздочка у заголовка — задача сложнее.

Задача 1⭐

Честная монета, p=1/2p = 1/2. Чему равна вероятность успеха P(ζ=1)P(\zeta = 1)?

Подсказка в условии: это параметр распределения Бернулли, а не «половина от чего-то ещё».

HypothesisTest

Две гипотезы, порог, области α / β и мощность. Двигай сдвиг H₁ и порог c.

Проверка гипотез: α, β и мощность

α0.159
β0.159
мощность 1−β0.841

Отклоняем H₀ при T > c. α — хвост H₀ справа от порога, β — часть H₁ слева.

PointCloud3D

Единичный куб, облако точек и регулируемая коробка. Доля ≈ объём. Вращай мышью, жми «Перебросить».

Облако точек в единичном кубе

доля (эмпирика)0.138
объём (теория)0.125
|доля − объём|0.013
Загрузка 3D-сцены…

Независимые U[0,1] по осям: доля точек в коробке ≈ объём = Δx·Δy·Δz. Вращай куб мышью.

LCGExplorer (гл. 2 §3)

Линейный конгруэнтный датчик: решётка пар (yₙ, yₙ₊₁)

a = 137, c = 187, m = 256. Грубый модуль — пары сразу садятся на несколько прямых.Параметры: a = 137, c = 187, m = 256, k₀ = 7. Период: 256. Первые yₙ: 0.027, 0.477, 0.020, 0.406, 0.387, 0.711…

LatticeCube3D — тройки в кубе (гл. 2 §3, RANDU)

Тройки случайных чисел в кубе: решётка датчика

Загрузка 3D-сцены…

a = 65539, m = 2³¹. В 2D выглядит прилично — его провал видно только в 3D (тройки лягут на 15 плоскостей).Берём подряд тройки (y₃ₖ, y₃ₖ₊₁, y₃ₖ₊₂) и кидаем точками в единичный куб. Крути куб мышью: у RANDU поймаешь ракурс, где точки собираются в несколько плоскостей; у хорошего датчика они заполняют куб ровно.

NeudachiSimulation (гл. 2 §5)

Эксперимент «Неудачи»: куда сходится среднее

Бегущее среднее числа опросов N по мере накопления опытов.Округление до 2 знаков обрывает ряд: среднее садится около теории 2·ln10 + γ ≈ 5.18.

EulerMethodDemo (гл. 2 §6)

Метод Эйлера: как компьютер перепрыгивает кривую

Зелёная дуга — истинное решение (полуокружность). Красная ломаная — метод Эйлера с шагом h.Уменьшай шаг — ломаная держится точнее. Но у линии y = 0 правая часть −x/y рвётся: наклон взлетает, и метод «перепрыгивает» вниз, на чужую кривую. Разрыв шагом не победить.

MonteCarloIntegral (гл. 3 §1)

Монте-Карло: интеграл как среднее по случайным точкам

Площадь четверти круга, умноженная на 4, даёт π ≈ 3,1416. Жребием считаем число π.Оценка Î_n = среднее φ в случайных точках. Точное значение: 3.1416. Сейчас: 3.1594 (ошибка 0.0178).

ThreeSigmaRule (гл. 3 §2)

Правило трёх сигм: 68 — 95 — 99,7 %

Нормальная плотность N(0,1). Закрашена область [−3σ, +3σ].Вероятность попасть в неё: P(|Z| ≤ 3) = 99.7 %. Правило трёх сигм: почти вся масса (99,7 %) лежит в ±3σ.

MonteCarloPi2D (гл. 3 §3)

Монте-Карло: объём области через долю попаданий

Кидаем точки в единичный квадрат. Красные — под дугой (x²+y² ≤ 1), серые — снаружи.Доля под дугой ≈ площадь четверти круга = π/4. Умножаем на 4: оценка π = 3.1307 (точное 3,1416).

BallInCube (гл. 3 §4)

Шар в k-мерном кубе: доля объёма тает с размерностью

Доля объёма шара в k-мерном кубе. Красный столбик — выбранная размерность k = 3.При k = 3: точное p = 52.36 %, Монте-Карло оценка = 51.06 %. С ростом k шар почти «испаряется» — объём уходит в углы куба.

WeylSequence (гл. 3 §5)

Равномерность по Вейлю: как {n·α} заполняет отрезок

Гистограмма дробных частей {n·α} по 10 ячейкам отрезка [0,1]. Ровная линия = равномерность по Вейлю (каждая ячейка ≈ 0,1).α = √2 иррационально: столбики выравниваются — последовательность заполняет отрезок равномерно.

BenfordBars (гл. 3 §6)

Закон Бенфорда: частота первой цифры

Частоты первой цифры (столбики) против закона Бенфорда pₘ = log₁₀(1 + 1/m) (линия).Степени двойки и факториалы точно садятся на закон Бенфорда: единица — 30,1 %, семёрка — всего 5,8 %, а не 1/9.

InverseTransform (гл. 4 §1)

Метод обратной функции: равномерное → любое

Верхний график: функция распределения F. Берём равномерное y = 0.70 на вертикали, идём вправо до кривой и опускаемся вниз: x = F⁻¹(y) = 1.204.Нижний: гистограмма n таких x против теоретической плотности — совпадают. За край картинки улетело 0.6 % точек — у этого закона тяжёлые хвосты.

ExtremeValues (гл. 4 §2)

Экстремальные значения: куда сходится максимум

Источник: показательное Exp(1). 3000 раз берём максимум из n чисел и нормируем: X₍ₙ₎ − ln n.Столбики — что вышло, линия — предельный закон. Уже при небольших n они садятся друг на друга.

NeumannExponential (гл. 4 §3)

Датчик фон Неймана: показательный закон без логарифмов

Гистограмма чисел из датчика фон Неймана против плотности e⁻ˣ. Среднее: 0.996 (теория 1).Логарифмов потрачено: 0. Равномерных чисел на одно показательное: 4.30 (теория ≈ 4,30).

FastExponential (гл. 4 §4)

Быстрый показательный датчик: один логарифм на n чисел

6000 чисел по теореме 2 против плотности λe^(−λx). При n = 1 это обычный метод обратной функции.Цена одного показательного числа: логарифмов 0.33, равномерных 1.67, плюс сортировка 2 чисел на каждые 3.

NormalGenerators (гл. 4 §5)

Нормальные числа: три способа

Гистограмма датчика против плотности N(0,1). При n = 1 это просто равномерное, при n = 2 — треугольник, к n = 12 почти колокол.За ±3 вышло 0.22 % (у нормального 0,27 %). Самое большое |x| = 4.03, а выше √(3n) = 6.00 эта сумма не прыгнет никогда.

BestChoice (гл. 4 §6)

Наилучший выбор: скольких пропустить

Кривая — шанс выбрать самого лучшего при каждом m. Красная линия — твоё m = 7: шанс 38.4 % по формуле, 38.5 % в 4000 симуляциях.Оптимум (синяя): m* = 7, шанс 38.4 %. Для сравнения n/e = 7.4, а предел шанса 1/e ≈ 36,8 %.

DiscreteSampler (гл. 5 §1)

Дискретные датчики: частоты против теории

Датчик: считаем успехи в n испытаниях Бернулли. Столбики — частоты по 20000 числам, точки — теоретические вероятности.Среднее по выборке 5.998, теория 6.000.

OrderStatistics (гл. 5 §2)

Порядковые статистики: k-я из n — это бета

Берём 10 равномерных чисел, сортируем и смотрим 3-я по величине. Так 8000 раз.Линия — бета-плотность B(3, 8). Её центр около k/(n+1) = 0.273.

BernsteinApprox (гл. 5 §2)

Многочлены Бернштейна: приближаем любую непрерывную функцию

Непрерывная функция с изломом в середине. Многочлены подползают к ней со всех сторон.Наибольшее отклонение многочлена от функции: 0.492. Увеличивай n и смотри, как оно тает.

RejectionSampling (гл. 5 §3)

Метод Неймана: оставляем только то, что под графиком

Верхний график: броски в прямоугольник высотой C = 2.46. Красные легли под график и приняты, серые выброшены. Нижний: гистограмма принятых против плотности.Доля принятых 40.2 % (теория 1/(C·(b−a)) = 40.7 %). В среднем 2.46 броска на одно число — поднимешь C, будет больше отходов.

MatchingGame (гл. 5 §4)

Один или два пальца: игра, которая только кажется честной

Платежи тебе: (1,1) +2, (1,2) −3, (2,1) −3, (2,2) +4. Средний выигрыш за партию Z = 12p₁p₂ − 7p₁ − 7p₂ + 4 = -0.083.Сплошная линия — твой счёт по ходу игры, пунктир — ожидаемый Z·n. После 3000 партий: -191. При p₂ = 7/12 Z = −1/12 при любом p₁ — сколько ни крути свою стратегию.

GuessTheta (гл. 6 §1)

Угадай θ: где правый край отрезка?

КтоЗначениеПромах |θ̂ − θ|
Ты50.0?
θ̂₁ = max??
θ̂₂ = 2·X̄??
θ̂₃ = (n+1)/n·max??
Истинное θ?—

Кто-то загадал θ от 10 до 90 и кинул 10 точек равномерно на [0, θ]. Видны только точки. Поставь свою догадку и вскрой, а потом сравни с формулами.Счёт: раундов 0, ты ближе θ̂₃ в 0.

EstimatorComparison (гл. 6 §2–3)

Сравнение оценок θ на равномерной выборке

ОценкаСреднееСмещение (теория)Ст. откл.M(θ̂ − θ)² (теория)
θ̂₁ = max0.911-0.089 (-0.091)0.0810.0146 (0.0152)
θ̂₂ = 2·X̄0.999-0.001 (0.000)0.1830.0333 (0.0333)
θ̂₃ = (n+1)/n·max1.0020.002 (0.000)0.0890.0080 (0.0083)

4000 раз берём выборку из 10 точек на [0, θ], θ = 1, и считаем по ней каждую оценку. Кривые показывают, как разбросаны значения оценок, зелёная вертикаль — истинное θ.Несмещённая оценка — горб, центр тяжести которого стоит на θ. Точная — горб узкий. Двигай n и смотри, кто сужается, а кто нет.

RiskFunctions (гл. 6 §3–4)

Функции риска: частота против Ходжеса — Лемана

Синяя — риск частоты X̄, красная — риск оценки Ходжеса — Лемана θ̃. Пунктиры — максимумы кривых. Ходжес — Леман точнее на 66 % значений θ.Минимакс (худший случай): X̄ — 0.0278, θ̃ — 0.0156, выигрывает θ̃. Байес (среднее по равномерному θ): X̄ — 0.0184, θ̃ — 0.0156, выигрывает θ̃.

CloserGame (гл. 6 §4)

Кто ближе к θ: Ходжес — Леман или частота?

Верхний график — p(θ): шанс, что θ̃ окажется строго ближе к θ, чем частота X̄. Он скачет вокруг ½, а в среднем по θ равен 0.507.Нижний — эксперимент: θ₀ каждый раз берётся наугад из [0, 1]. Из 5000 раз θ̃ ближе в 2541, X̄ ближе в 2459, ничьих 0. Доля побед θ̃ — 50.8 %.

CauchyBeam (гл. 7 §1)

Распределение Коши: луч из точки и среднее, которое не сходится

-8-6-4-202468источник (θ, 1)

Сверху — первые 40 лучей из источника над нулём: угол равномерный, точка на оси — величина Коши. Лучи, ушедшие почти горизонтально, улетают за кадр. Из 2000 точек дальше 10 от центра — 125, самая дальняя — на 1029.Снизу — бегущее среднее X̄ и бегущая медиана по первым m точкам. После 2000: X̄ = -0.07, MED = 0.038. Среднее дёргается от каждого выброса и не сходится, медиана садится на 0.

QuantileLab (гл. 7 §2–4)

Выборочная медиана против среднего

ОценкаДисперсия √n·(оценка − цель), опытАсимптотическая дисперсия, теория
MED1.5251.571
X̄0.9921.000

Закон: N(0, 1). 3000 выборок по n = 51. Столбики — √n·(MED − x_α) и √n·(X̄ − центр), линии — нормальные плотности из теоремы и ЦПТ.Относительная эффективность e(MED, X̄) = σ²(X̄)/σ²(MED): теория 0.637, опыт 0.650.

QuantileLab (гл. 7 §2–4, alphaControl, без среднего)

Выборочная медиана против среднего

ОценкаДисперсия √n·(оценка − цель), опытАсимптотическая дисперсия, теория
MED1.5251.571

Закон: N(0, 1). 3000 выборок по n = 51. Столбики — √n·(MED − x_α) и, линии — нормальные плотности из теоремы.Относительная эффективность e(MED, X̄) = σ²(X̄)/σ²(MED): теория 0.637, опыт 0.650.

StableSums (гл. 7 §5)

Устойчивые законы: сумма снова такая же

4000 раз складываем n = 50 независимых копий и делим сумму на n. Линия — закон одного слагаемого.Устойчивость: при любом n гистограмма ложится на ту же кривую. Поставь n = 1 и n = 200 — разницы нет. За кадром 8 % (хвосты).

TrimmedMeanCurve (гл. 8 §2)

Усечённое среднее: сколько отрезать?

Закон: N(0, 1). Линия — асимптотическая дисперсия σ²_α усечённого среднего по теореме 1; слева (α = 0) — X̄, справа (α = ½) — медиана. Точки — n·D(X̄_α) по 1500 выборкам объёма 100.Лучшее α ≈ 0.000, σ² = 1.000. При α = 1/8: σ² = 1.080, эффективность к X̄ = 0.926, к медиане = 1.455.

OutlierDuel (гл. 8 §3–4)

Средние против выбросов

ОценкаЗначениеСостояние
X̄3.000унесло за выбросами
X̄₁/₈0.124держится
MED0.295держится
W (Уолш)0.183держится

20 нормальных точек с центром 0, из них 2 заменены на 30. Столбики — значения оценок, обрезка на ±5: если оценка ушла дальше, её «унесло».Двигай значение выброса вверх: сломанная оценка поедет за ним, устойчивая останется около нуля. X̄ ломается от одного выброса, X̄₁/₈ — от трёх, W — от шести (около 29 %), MED — только от десяти, то есть от половины.

OutlierDuel (гл. 8 §3–4, efficiency)

Средние против выбросов

Оценкаσ², теорияn·D, опытe к X̄
X̄1.0001.0291.000
X̄₁/₈1.0801.1030.926
MED1.5711.5930.637
W (Уолш)1.0471.0930.955

Закон: N(0, 1). Столбики — эффективность относительно лучшей из четырёх оценок по теории (1 — лучшая).В таблице асимптотические дисперсии по теоремам и n·D по 600 выборкам объёма 40. У Уолша на всех законах эффективность не ниже 0,864 относительно X̄ (теорема 4).

ProbabilityPaper (гл. 9 §1)

Вероятностная бумага: распрямляем график

10 чисел из примера 1: нормальная выборка с μ = 1, σ = 2. Верхний график — нормальная вероятностная бумага: по оси y отложено Φ⁻¹((i − ½)/n). Если закон нормальный, точки лежат около прямой.По прямой: μ̂ = 1.12 (где прямая пересекает y = 0), σ̂ = 2.23 (наклон); корреляция r = 0.968. Для сравнения X̄ = 1.12, S = 2.16. Нижний — эмпирическая функция распределения против истинной.

LikelihoodExplorer (гл. 9 §4)

Функция правдоподобия: какое θ самое правдоподобное

Модель: X_i ∈ {0, 1}, P(X_i = 1) = θ. Кривая — правдоподобие при этих данных как функция θ. Успехов s = 5 из 10. Зелёная вертикаль — истинное θ = 0.30, красная — ОМП θ̃ = 0.500.Информация Фишера одного наблюдения I₁ = 4.762, граница Рао — Крамера даёт разброс порядка 1/√(nI₁) ≈ 0.145.

NewtonCauchy (гл. 9 §5)

Метод Ньютона: касательные к уравнению правдоподобия

Шаг kθ_kφ(θ_k)
0-1.400000002.393e-1
1-1.310802501.429e-2
2-1.304719197.773e-5
3-1.304685732.370e-9
4-1.304685723.331e-16

Синяя кривая — левая часть уравнения правдоподобия φ(θ) = Σ 2(x_i − θ)/(1 + (x_i − θ)²) для выборки Коши из 5 точек (оранжевые на оси). Корней на окне: 1. Пунктиры — касательные: каждая доводит до следующего приближения.После 4 шагов θ = -1.304686, φ = 3.33e-16. Около простого корня число верных знаков на каждом шаге примерно удваивается. Начни далеко от корня — касательные разбросает (осцилляции).

SufficiencyDemo (гл. 10 §1)

Достаточная статистика: что остаётся после того, как знаешь T

60000 выборок Бернулли объёма 5 при θ₁ и столько же при θ₂. Оставляем только те, где ровно 2 единиц, и смотрим, как часто встречается каждое расположение. Пунктир — 1/C(n, t) = 0.1000.Этап 1 зависит от θ: P(T = 2) равна 0.205 при θ₁ и 0.132 при θ₂ (попаданий 12212 и 7894). Этап 2 — нет: при обоих θ все расположения равновероятны. Всё, что выборка знает про θ, сидит в T.

RaoBlackwell (гл. 10 §4)

Колмогоров — Блекуэлл — Рао: усредни по T и стань точнее

ОценкаСреднее (θ = 0.3)Дисперсия, опытДисперсия, теория
θ̂ = X₁0.2980.20930.2100
M(X₁ | ΣXᵢ) = X̄0.3050.02090.0210

5000 выборок объёма 10. Синие столбики — исходная несмещённая оценка θ̂ = X₁, красные — она же после усреднения по достаточной статистике: M(X₁ | ΣXᵢ) = X̄. Обе несмещённые, но вторая собрана в узкий горб.Оценка по одному наблюдению после усреднения становится частотой — дисперсия падает в n раз.

BallsInBoxes (гл. 10 §5)

Шарики в ящиках: сколько ящиков пустует

20 различимых шариков по 10 ящикам. Столбики — вероятность ровно k пустых ящиков: формула и опыт (20000 размещений). Линия — Пуассон с λ = N·e^(−n/N) = 1.353.Ни одного пустого: 0.2147. Для различимых пустые ящики исчезают при n ≈ N ln N. Переключи тип шариков при тех же n и N.

BallsInBoxes (гл. 10 §5, matches)

Задача о совпадениях

Две одинаковые колоды из 10 карт, одну перетасовали. Столбики — вероятность ровно k совпадений: точная формула и опыт (20000 раскладов). Линия — Пуассон с λ = 1.Хотя бы одно совпадение: 1 − P(B₀) = 0.6321; при N → ∞ это 1 − e⁻¹ ≈ 0,632 — почти не зависит от N уже с N = 5.

ConfidenceIntervals (гл. 11 §1–2, expshift)

Доверительные интервалы: сколько из них накроют истину

-0.35-0.19-0.030.130.30

60 интервалов для параметра «сдвиг θ» по 60 независимым выборкам объёма 10. Синие накрыли истинное значение (зелёная вертикаль), красные — промахнулись: 1 из 60.По 4000 выборкам доля накрытий 94.6 % при заявленных 95 %. Средняя длина интервала 0.300.

ConfidenceIntervals (гл. 11 §1–2, t)

Доверительные интервалы: сколько из них накроют истину

-1.59-0.82-0.050.711.48

60 интервалов для параметра «сдвиг θ₁» по 60 независимым выборкам объёма 10. Синие накрыли истинное значение (зелёная вертикаль), красные — промахнулись: 3 из 60.По 4000 выборкам доля накрытий 94.6 % при заявленных 95 %. Средняя длина интервала 1.390.

StudentChiDensities (гл. 11 §2)

Законы Стьюдента и хи-квадрат

Сверху — плотность Стьюдента t_k (красная) против N(0, 1) (синяя). При k = 1 это закон Коши, с ростом k хвосты худеют, и t_k приближается к нормальному. Квантиль 0,975: у t_k 3.182, у N(0, 1) 1,960.Снизу — плотность χ²_k. Среднее k, максимум в точке k − 2 = 1 (при k ≥ 2), правый хвост тяжелее левого. Квантили 0,025 и 0,975: 0.22 и 9.35.

BernoulliCI (гл. 11 §3)

Интервалы для вероятности успеха: кто честно держит 95 %

МетодИнтервал при k = 3, n = 30 (x̄ = 0.100)Длина
Точный (метод 2)(0.0211; 0.2653)0.2442
Арксинус (метод 3)(0.0203; 0.2304)0.2102
Подстановка (метод 4)(-0.0074; 0.2074)0.2147

Точная вероятность того, что интервал накроет истинное θ, как функция θ (n = 30). Пунктир — заявленный уровень 0.95. «Пила» — из-за дискретности: число успехов принимает только значения 0, 1, …, n.Точный (метод 2): среднее покрытие 97.4 %, минимум 95.4 %; Арксинус (метод 3): среднее покрытие 93.1 %, минимум 63.7 %; Подстановка (метод 4): среднее покрытие 87.9 %, минимум 14.0 %. Точный интервал никогда не опускается ниже уровня, подстановка у краев проваливается.

CoinTest (гл. 12 §1)

Статистический критерий: честная ли монетка

Столбики — закон числа гербов T при честной монетке (H: θ = ½). Красные — критическая область T ≥ 9: туда T попадает с вероятностью не больше α = 0.05. Обведённый столбик — наблюдение t₀ = 8.Фактический уровень значимости α₀ = P(T ≥ 8) = 0.0547. Не попали — гипотезу принимаем (но это не доказательство честности).

UniformityTest (гл. 12 §2)

Проверка равномерности: Колмогоров и омега-квадрат

КритерийСтатистикаФактический уровень значимости
Колмогоров, √n·D_n0.7280.6646 по K(x); 0.6145 моделированием
Крамер — Мизес, nω²(ψ₁)0.0700.7390
Андерсон — Дарлинг, nω²(ψ₂)0.4400.7955

Синяя лесенка — эмпирическая функция распределения, диагональ — y = x (гипотеза равномерности). Красная вертикаль — где отклонение наибольшее: D_n = 0.1329, √n·D_n = 0.728.Фактический уровень значимости — шанс получить такое же или большее отклонение при верной гипотезе. Если он мал (меньше 0,05), равномерность отвергаем.

NormalityTests (гл. 12 §4)

Проверка нормальности: пять критериев на одной выборке

КритерийСтатистикаФактический уровень значимости
Колмогоров с подстановкой (Стефенс)0.524> 0,15
Крамер — Мизес с подстановкой (Стефенс)0.063> 0,15
Асимметрия G₁′/σ₁ (выборочная G₁ = -0.26)-0.800.4209
Эксцесс G₂′/σ₂ (выборочный G₂ = 0.50)1.040.2975
Гири, (G₃ − MG₃)/√DG₃-0.770.4396

Выборка из выбранного закона (сдвинутого и растянутого — μ и σ неизвестны). Проверяем сложную гипотезу нормальности пятью способами. Оценки по выборке: X̄ = 3.125, S = 1.661.Для статистик Стефенса уровень — по таблице Лагутина (диапазон), для моментов — по нормальному приближению. Малое значение (меньше 0,05) — нормальность отвергаем. При n около 20 почти всё «нормально», при n = 500 ловится почти всё, кроме самого нормального закона.

EntropyDemo (гл. 12 §5)

Энтропия: сколько бит нужно на символ

ИсходA1A2A3A4A5A6A7A8
Длина кода12345677

Столбики — вероятности исходов p_i ∝ e^(−t·i). Энтропия H = −Σ p_i log₂ p_i = 2.323 бит, максимум log₂ N = 3.000 — при t = 0, когда все исходы равновероятны.Код Хаффмана: частым исходам — короткие слова, редким — длинные. Средняя длина 2.380 двоичных знаков на символ; она не меньше H и меньше H + 1. Равномерный код тратил бы ⌈log₂ N⌉ = 3.

LikelihoodRatioSet (гл. 13 §2)

Лемма Неймана — Пирсона для закона Коши

Сверху — отношение правдоподобия r(x) = (1 + x²)/(1 + (x − 1)²) и уровень c_α = 2.527. Закрашено оптимальное критическое множество G* = {x : r(x) ≥ c_α} — отрезок: [1,365; 1,944].Снизу — плотности Коши при H₀ (θ = 0, синяя) и H₁ (θ = 1, красная). Пунктир — граница t = 6.31 «наивного» критерия «отвергаем, если x ≥ t» того же уровня.Мощность Неймана — Пирсона: 0.129, наивного критерия: 0.059.

WaldSequential (гл. 13 §3)

Последовательный критерий Вальда

20 блужданий S_k = Z₁ + … + Z_k, где Z_i = ln[p₁(X_i)/p₀(X_i)]. Границы c₀ = -2.94 и c₁ = 2.94. Красные траектории вышли вверх (принята H₁), синие — вниз (принята H₀).По 4000 опытам: доля ошибочных решений 0.025 (заказывали 0.05); среднее число наблюдений 6.9, приближение Вальда (15) — 5.3.Критерию Неймана — Пирсона с теми же α и β нужно n* = 11 наблюдений всегда. Вальд в среднем тратит 62 % от этого.

GamblersRuin (гл. 13 §4)

Разорение игрока

12 игр: капитал первого игрока после каждой партии. Красные кончились разорением (капитал 0), синие — выигрышем всех M = 20.Вероятность разорения r_k = 0.5000 (по 3000 играм — 0.5090). Средняя длительность игры l_k = 100.0 (по моделированию — 99.6).Нижний график — точная функция распределения длительности P(ν ≤ m). Медиана — 76 партий.

OptimalStopping (гл. 13 §5)

Оптимальная остановка блуждания

Столбики — призы. Красные — точки, где стратегия Наилучшая велит остановиться. Сплошная линия — средний выигрыш из каждой точки старта при этой стратегии, пунктир — «резинка» (вогнутая мажоранта), выше которой не прыгнуть.Средний выигрыш при случайном старте: «Никогда» — 0,000; «Сразу» — 2,500; «Все или ничего» — 2,625; Наилучшая — 2,750. Среднее число шагов у выбранной: 0,625.

TwoSampleTest (гл. 14 §3–5)

Однородность двух выборок

X ~ N(0, 1), Y ~ N(0.5, 1). Синяя ступенька — F̂ₙ (выборка X), красная — Ĝₘ (выборка Y). D = 0.233 — наибольший вертикальный зазор между ними, D⁺ = 0.233 — наибольший зазор, где синяя выше.Фактические уровни значимости α₀: по предельному закону и по 1000 моделированиям при верной H₀ (для Уилкоксона — точно, по закону U). Оценка сдвига θ̂ = MED{Yⱼ − Xᵢ} = 0.295.

КритерийЗначениеα₀ асимпт.α₀ моделир.
Смирнов √(nm/(n+m))·D (против H₁)0.9040,3880,396
Смирнов односторонний, D⁺ (против H₂)0.9040,1950,200
Розенблатт Z* (против H₁)0.167—0,362
Уилкоксон: V = 985, U = 520, U* (против H₂)1.0350,1500,153 (точно)

RankSumDistribution (гл. 14 §5)

Закон суммы рангов Уилкоксона

Точный закон суммы рангов V = S₁ + … + Sₘ при верной H₀: все C(n+m, m) расстановок Y по n + m местам равновероятны. Линия — нормальное приближение с MU = nm/2 и DU = nm(n+m+1)/12. Красные столбики — хвост V ≥ 39.P(V ≥ 39) точно: 0.0628; по нормальному приближению (7): 0.0502. U* = 1.643, поправка Имана Ũ* = 1.734 против z₀,₀₅ = 1.739 — не отвергаем.

WilcoxonPower (гл. 14 §5)

Уилкоксон против Стьюдента

Мощность односторонних критериев уровня 0.05 против правого сдвига θ, по 600 парам выборок из закона Тьюки (1 − ε)·N(0, 1) + ε·N(0, 9). Красная — Уилкоксон (точный уровень 0.048 — закон U дискретный), синяя — Стьюдент.Асимптотическая эффективность Уилкоксона относительно Стьюдента E(F_ε) = 1.373 — Уилкоксону нужно меньше наблюдений.

ReflectionWalk (гл. 14 §6)

Принцип отражения

Синий — случайный путь из (0, 2) в (20, 4), коснувшийся оси в момент τ = 2. Красный пунктир — его участок до τ, отражённый относительно оси: теперь путь идёт из (0, −2) в (20, 4). Такое отражение — взаимно однозначное соответствие.Всего путей из (0, 2) в (20, 4): N = 167960. Касающихся оси: N_{n,a+b} = 77520. Положительных: 90440.

PairedTests (гл. 15 §2–3)

Парные наблюдения: знаки и знаковые ранги

Слева — упорядоченные приращения zᵢ = yᵢ − xᵢ (красные — положительные). Нулевых приращений 1 — их отбрасываем, n = 11. Справа — проверка симметрии: точки (ξᵢ, ηᵢ) = (MED − z₍ᵢ₎, z₍ₙ₊₁₋ᵢ₎ − MED) должны лежать возле прямой y = x.

Критерий против θ > 0Статистикаα₀
Знаков: S = 9 из 11 (точно по биному)S̃* = 1,8090,033 (по S̃*: 0,035)
Знаковых рангов: T = 61,5, MT = 33, DT = 126,25t* = 2,5360,006 (есть совпадения)
Поправка Имана, уровень 0.05t̃* = 3,145z = 1,729: отвергаем
Оценки сдвига: MED = 19, интервал по знакам (7; 35) с доверием 0,935; медиана средних Уолша W = 19,25, интервал (7) (7; 32) с доверием ≈ 0.9.

SignRankPower (гл. 15 §3)

Знаки, знаковые ранги и Стьюдент

Закон ошибок: Нормальный (N(0, 1)). Мощность односторонних критериев уровня 0.05 против сдвига θ по 800 повторениям. Точные уровни у дискретных критериев меньше α: знаков — 0.021, знаковых рангов — 0.049.Асимптотическая эффективность знаков относительно знаковых рангов e_MED,W = 0.667 — знаковые ранги экономнее.

SerialCorrelation (гл. 15 §4)

Сериальная корреляция ломает уровень значимости

Гипотеза H₀′: θ = 0 верна, но соседние приращения коррелированы. Кривые — истинный уровень значимости трёх критериев номинального уровня 0.05 при n → ∞ (формулы примера 3). Пунктир — выбранное ρ.При ρ = 0.40: среднее — 0,110 (моделирование 0,117), знаки — 0,091 (0,097), знаковые ранги — 0,108 (0,118); моделирование — 3000 выборок объёма 100.

RunsTest (гл. 15 §5)

Критерий серий

+++++++++++−−−−−++−−+++++−++n = 28, единиц m = 8, нулей l = 20, серий k = 7; μ = 12.429, σ² = 4.414. Столбики — точный условный закон числа серий при данном m (он не зависит от p), линия — нормальное приближение.Против H⁺ (слишком мало серий): t* = -2.346, α₀ ≈ 0,009, точно 0,011.

KruskalWallis (гл. 16 §2)

Критерий Краскела — Уоллиса и сравнения Данна

Точки — наблюдения по группам. Средние ранги R̄ⱼ: 1: 9,20; 2: 3,17; 3: 5,50; 4: 11,67; 5: 3,50.W = 8,39, с поправкой на совпадения W′ = 8,43; по χ²_4 α₀ ≈ 0,077. Поправка Имана — Давенпорта: W̃ = 12,51 против w̃₀,₀₅ = 12,01 — отвергаем H₀ на уровне 5 %.

Пара (Данн, xₚ = 2,44)|R̄ᵣ − R̄ₛ|CᵣₛΔ̂ᵣₛ = Wᵣ − Wₛ
1 и 26,037,47-1,28
1 и 33,708,55-0,63
1 и 42,477,471,19
1 и 55,7011,20-1,16
2 и 32,339,330,65
2 и 4 — различаются8,508,352,46
2 и 50,3311,810,12
3 и 46,179,331,82
3 и 52,0012,52-0,53
4 и 58,1711,81-2,34

JonckheereTest (гл. 16 §3)

Критерий Джонкхиера: растёт ли эффект

Статистики Манна — Уитни: UAB = 22,00, UAC = 30,50, UBC = 26,50. J = 79,00, MJ = 54,00, DJ = 153,00, J* = 2,02.Фактический уровень значимости: Джонкхиер — 0,022 по нормальному приближению, 0,024 по 3000 перестановкам; Краскел — Уоллис для тех же данных — 0,116.Сравнение с контролем A (Данн, α = 0,05, D = 6,04): B: 2,00; C: 6,25 — лучше контроля. Контраст Δ̂CA = 4,17.

BartlettRobustness (гл. 16 §2)

Критерий Бартлетта боится хвостов

Гипотеза H′ (все дисперсии равны) верна, номинальный уровень критерия Бартлетта 0.05. Синие столбики — доля ложных отказов по 250 опытам для k групп по 30 наблюдений из закона «Стьюдент t₇» (эксцесс κ = 2). Красные — предел при больших выборках: B* ведёт себя как (1 + κ/2)·χ²ₖ₋₁, отсюда уровень P(χ²ₖ₋₁ ≥ χ²ₖ₋₁;₀,₉₅ / (1 + κ/2)).

PolyaWalk (гл. 16 §4)

Теорема Пойа: вернётся ли пьяный домой

Сверху — одно блуждание из 400 шагов. Возвращений в начало: 0.Снизу — точная вероятность вернуться в начало не позже шага t (Σf₂ᵢ из леммы) для прямой, плоскости и пространства; точки — доля из 3000 смоделированных блужданий для выбранной размерности. На прямой и плоскости кривые ползут к 1 (на плоскости — очень медленно), в пространстве — к 0.34.

FriedmanTest (гл. 17 §2–3)

Критерии Фридмана и Пейджа

БлокКрысыКроликиКошки
11,5 (2)1,7 (3)0,3 (1)
21,1 (2)1,5 (3)1 (1)
31,8 (1)8,1 (3)3,6 (2)
41,9 (3)1,3 (2)0 (1)
54,3 (3)4 (2)0,6 (1)
62 (1)4,6 (2)5,5 (3)
78,4 (3)4 (2)1 (1)
86,6 (3)5,1 (2)3,1 (1)
92,4 (2)2,5 (3)0,1 (1)
106,5 (2)6,9 (3)1,6 (1)
112,6 (2)2,5 (1)4,3 (3)
126,5 (2)6,8 (3)1 (1)
Tⱼ262917
Фридман: F = 6,5; по χ²_2 α₀ ≈ 0,039. Иман — Давенпорт (l = 1, m = 2, k ≤ 7, n > 7): F̃ = 7,336 против 6,439 — отвергаем H₀ на уровне 0.05.Попарно (C = 3,314, граница 11,482): Крысы–Кролики: 3; Крысы–Кошки: 9; Кролики–Кошки: 12 ✔. С контролем «Крысы» (D = 1,916, граница 9,388): Кролики: 3; Кошки: -9.Пейдж (ожидаем рост слева направо): L = 135, ML = 144, DL = 24, L* = -1,837, α₀ ≈ 0,967. Контраст Δ̃ (Кошки − Крысы) = -2,083.

FriedmanDistribution (гл. 17 §2)

Точный закон статистики Фридмана

Закон статистики Фридмана F при H₀: все (k!)ⁿ наборов рангов равновероятны. Столбики — точный закон (перебор по блокам), сгруппированный по полуцелым интервалам; линия — те же вероятности по χ²_2. Наибольшее значение F = n(k − 1) = 4. P(F ≥ 4) = 0.1667, по χ² — 0.1353.

HappyTicket (гл. 17 §4)

Счастливый билетик

Столбики — число наборов из 3 цифр с суммой s (коэффициенты многочлена (1 + z + … + z⁹)^3). Счастливых номеров Σ N(s)² = 55 252, по формуле через производящую функцию — 55 252. Вероятность счастливого билета 0.05525 ≈ 1/18; по 50 000 случайных билетов — 0.05426.Билет 780783: суммы 15 и 18 — не счастливый. После «отражения» второй половины (цифра → 9 − цифра): 780216, сумма всех цифр 24 ≠ 27.

LatticeReturn (гл. 17 §4)

Вернётся ли частица: производящие функции

Вероятность когда-нибудь вернуться в 0: F(1) = 1 − |p − q| = 0.200 (по 10 000 блужданиям за 2000 шагов — 0.198). Вернуться сразу, на 2-м шаге: f₂ = 2pq = 0.180; к шагу 60 накопилось 0.200. Кто не вернулся сразу, тот почти наверняка уже не вернётся — «снос» уносит.

PearsonChiSquare (гл. 18 §1)

Критерий хи-квадрат Пирсона

Синие — наблюдённые количества νⱼ, красные — ожидаемые npⱼ⁰. X²ₙ = Σ(νⱼ − npⱼ⁰)²/(npⱼ⁰) = 0,470 при 3 степенях свободы.Правый хвост (данные хуже гипотезы): α₀ = P(χ²_3 ≥ X²) = 0,925. Левый хвост (данные «слишком хорошие»): P(χ²_3 ≤ X²) = 0,075.Наименьшее ожидаемое количество npⱼ⁰ = 34,8 — правило npⱼ⁰ ≥ 5 выполнено.

PoissonFit (гл. 18 §2)

Самолёты-снаряды над Лондоном: проверка пуассоновости

j01234+
участков lⱼ₊₁22921193358
nπⱼ(θ̂), θ̂ = 0,932226,74211,3998,5430,628,71
nπⱼ(θ̃), θ̃ = 0,930227,26211,3598,2830,478,64
576 участков южной части Лондона, 537 попаданий. θ̂ = M/n — среднее по всей выборке, θ̃ — оценка максимального правдоподобия по частотам (ячейкам).X̃²ₙ = 1,019 при N − 1 − 1 = 3 степенях свободы, α₀ = 0,7967. Наименьшее ожидаемое количество — 8,64: правило «не меньше 5» выполнено.

ChernoffLehmann (гл. 18 §2)

Нельзя подставлять ξ̄ и S: эффект Чернова — Лемана

400 нормальных выборок объёма 200, N = 10 равновероятных промежутков. Пунктир — функции распределения χ²_7 (левая) и χ²_9 (правая). Эмпирические функции распределения X̃²: параметры известны — среднее 8.75 (должно быть ≈ 9); ОМП по частотам — 6.83 (≈ 7); подставлены ξ̄ и S — 7.20: зажата между ними, как предсказали Чернов и Леман.

SimpsonParadox (гл. 18 §3)

Парадокс критерия хи-квадрат (парадокс Симпсона)

МужчиныBне B
A700800
не A80130
X̂² = 5,456, α₀ = 0,020
ЖенщиныBне B
A15070
не A400280
X̂² = 6,125, α₀ = 0,013
ВместеBне B
A850870
не A480410
X̂² = 4,782, α₀ = 0,029
A — принимали лекарство, B — выздоровели. Доли выздоровевших: мужчины 0,467 против 0,381, женщины 0,682 против 0,588, вместе 0,494 против 0,539. Парадокс Симпсона: в каждой подгруппе лекарство помогает, а в объединённой таблице «вредит».

NormDistance (гл. 19 §1)

Расстояния Минковского: единичные шары

11

Тонкие линии — шары B₁ (ромб), B₂ (круг) и B∞ (квадрат). Жирная — Bp при p = 3,0. Чем больше p, тем сильнее «шар» раздувается к квадрату. Для точек A = (0, 0) и B = (3, 4): d₁ = 7, d₂ = 5, d∞ = 4, а сейчас dp = 4,498.

m123510
V(B₁)/V(B∞) = 1/m!1,00000,50000,16670,00832,76e-7
V(B₂)/V(B∞)1,00000,78540,52360,16450,0025
V(Bp)/V(B∞), p = 3,01,00000,88330,71210,37740,0348

Нормировка признаков: зачем она нужна

весрост

Кружки — девушки, квадратики — юноши (данные модельные). Цвет — класс, найденный методом k-средних (k = 2) в евклидовой метрике. Оси нарисованы в одном масштабе — так, как их «видит» евклидово расстояние.Доля пар, разбитых неправильно (расстояние Хемминга между разбиениями): 0,0 %. Без нормировки результат зависит от того, в чём мерить вес: сожмёшь ось — классификация поедет.

ClusterPlayground (гл. 19 §2, §7)

Песочница кластеризации: эвристические методы

Ребро, если dᵢⱼ ≤ τ = 0,60. Классы — связные компоненты графа (поиск в глубину, §9).0,037,07τГистограмма всех dᵢⱼ (рис. 7). Хорошее τ лежит между «горбом» внутриклассовых и «горбом» межклассовых расстояний.Найдено классов: 8. Доля пар, разбитых не так, как задумано при моделировании: 4,9 %.

Песочница кластеризации: эвристические методы

Квартическое ядро с R = 2,00, шаг поиска h = 0,1. Крестики — «дно ям», куда скатились объекты.Найдено классов: 2. Доля пар, разбитых не так, как задумано при моделировании: 7,8 %.

Dendrogram (гл. 19 §3–4, §6)

Иерархическая классификация: дендрограмма

1234567
2,73456712

По вертикали — мера отдалённости в момент объединения. Красный пунктир — уровень разреза на 2 класса.Инверсий нет: уровни объединений только растут. Коэффициенты Ланса–Уильямса при n₀ = n₁ = n₂ = 1: C1 = 0,500, C2 = 0,500, C3 = 0,000, C4 = -0,500; C1 + C2 + C3 = 1,000. Условия теоремы Миллигана выполнены.

шаг123456
объединили → новый номер3+4→85+8→96+9→107+10→111+2→1211+12→13
уровень ρ0,5001,4142,0002,1212,2362,693

Быстрый алгоритм для редуктивных мер

δU_δ в начале этапаV_δобъединения (уровень)max |U_δ|перебрано пар
3(1,2) (2,3) (4,5){1,2,3,4,5}1+2→6 (1), 4+5→7 (2), 3+6→8 (3)36
5(7,8){7,8}7+8→9 (5)11

На каждом этапе объединяем только классы из V_δ — те, что входят в пары с ρ ≤ δ. Когда U_δ пустеет, порог поднимаем: δ′ = δ + шаг (но не меньше наименьшей из оставшихся мер). Новые классы получают номера 6, 7, …В памяти одновременно не больше 3 пар (против N₁ = 10 у обычной процедуры). При поиске минимумов перебрано 7 пар против Σ N_k = 20; плюс 2 полных прохода для построения U_δ в начале этапов. Дендрограмма совпадает с обычной процедурой.

Неизвестное число классов

139,6

Дендрограмма — метод Уорда. Для каждого k разрезаем её и считаем F = ȳ₁ (средний внутриклассовый разброс, делим на значение при k = 1) и G = 1/z̄₁ (обратная мера концентрации, при равных классах ровно k). Выбираем k с наименьшим Q = F/F(1) + λ·G.

k12345678
F/F(1)1,0000,5640,3180,2780,2440,2190,1930,176
G = 1/z̄₁1,001,803,003,434,244,876,687,12
Q1,1500,8340,7680,7930,8790,9501,1951,244
Выбрано k = 3 (заложено 3). При λ = 0 «выигрывает» мелкая нарезка, при большом λ — один общий класс: выбор λ — на совести исследователя.

WolfOrDog (гл. 19 §5, §8)

Собака или волк: дискриминантный анализ

h собак
h волков

Признаки нормированы по N3 (медиана и MAD) по всем 43 строкам рис. 16; μ_l и Σ_l заменены оценками максимального правдоподобия (Σ̂ с делителем n). Относим череп к закону с меньшим h.h₁ (собаки) = -2,94, h₂ (волки) = 39,67 → собака. Расстояние Бхаттачария B = 4,08, оценка α + β ≤ e−B = 0,0169. Как в книге: h₁ = −2,94, h₂ = 39,7, B = 4,08, e^{−B} ≈ 0,017.Скользящий контроль: из 42 известных животных, классифицированных по моделям без них самих, ошибочно отнесено 2.Замечание 6 (собаки против волков, H₀: μ₁ = μ₂ при общей Σ): L = det W_int / det W_tot = 0,1764, F = 27,23 при (6, 35) степенях свободы, p = 8,2e-12; приближение Бартлетта χ² = 64,19, p = 6,3e-12.

Собаки и волки на плоскости двух признаков

Ось X:
Ось Y:
признак 1признак 4

Синие кружки — собаки, красные треугольники — волки, крестик — неизвестное животное. X: длина черепа, Y: длина верхнего карнивора. При X = 1, Y = 4 получается рис. 19.Разделенность γ = 1 − ΣL/ΣR (§8): по оси X — 0,663, по оси Y — 0,970. По всем признакам: 1: 0,66; 2: 0,67; 3: 0,75; 4: 0,97; 5: 0,90; 6: 0,83. Лучше всех разделяет признак 4 — длина карнивора: «бабушка, а почему у тебя такие большие зубы?»

Модель Фишера: вероятности ошибок классификации

Y = 0

При Σ₁ = Σ₂ = Σ разделяющая поверхность h₁ = h₂ — гиперплоскость aᵀ(2x − μ₁ − μ₂) = 0, a = Σ⁻¹(μ₁ − μ₂). Статистика Y = aᵀ(2X − μ₁ − μ₂) распределена как N(d, 4d) при H₁ (синяя) и N(−d, 4d) при H₂ (красная); граница — Y = 0.α = β = Φ(−√d/2) = 0,1587, α + β = 0,3173; оценка через расстояние Бхаттачария B = d/8: e−B = 0,6065.

PcaExplorer (гл. 20 §1–3)

Главные компоненты: собаки и волки

Ось X:
Ось Y:
c1c2

компонентаc1c2c3c4c5c6
собственное значение4,1000,8830,6390,2590,0970,022
% от следа68,314,710,64,31,60,4
накоплено, %68,383,093,798,099,6100,0
1. длина черепа0,430,230,530,110,050,68
2. длина верхней челюсти0,430,380,390,01-0,20-0,69
3. ширина верхней челюсти0,23-0,890,37-0,02-0,00-0,13
4. длина верхнего карнивора0,44-0,07-0,40-0,53-0,580,18
5. длина первого верхнего моляра0,460,02-0,27-0,310,78-0,09
6. ширина первого верхнего моляра0,42-0,10-0,440,79-0,09-0,01
Синие клетки — положительные координаты собственных векторов, красные — отрицательные (рис. 4). 95 %-й асимптотический интервал для λ₁ при n = 43: от 2,88 до 7,1.

Облако точек, главные оси и эллипс рассеяния

Пунктир — эллипс рассеяния xᵀΣ⁻¹x ≤ m + 2 = 4 для истинной Σ, сплошной — для выборочной Σ̂, отрезки — главные оси (полуоси ∝ √λ). Выборочные собственные значения λ̂₁ = 4,41, λ̂₂ = 0,63; на первую главную ось приходится 87,5 % разброса. Σ̂ = [[4,00; 1,18], [1,18; 1,04]], истинная Σ = [[4,00; 1,20], [1,20; 1,00]].

Степенной метод: вычисление главных компонент

шаг itᵢ|tᵢ − λ|eᵢ
13,338797,6e-1(0,73; 0,15; 0,22; 0,29; 0,36; 0,44)
24,097932,0e-3(0,44; 0,43; 0,24; 0,42; 0,45; 0,42)
34,099934,2e-5(0,43; 0,43; 0,23; 0,44; 0,46; 0,41)
44,099971,1e-6(0,43; 0,43; 0,23; 0,44; 0,46; 0,42)
54,099973,3e-8(0,43; 0,43; 0,23; 0,44; 0,46; 0,42)
64,099971,1e-9(0,43; 0,43; 0,23; 0,44; 0,46; 0,42)
74,099973,9e-11(0,43; 0,43; 0,23; 0,44; 0,46; 0,42)
84,099971,5e-12(0,43; 0,43; 0,23; 0,44; 0,46; 0,42)

Матрица — корреляционная матрица собак и волков (рис. 3), старт e₀ = (1; 0,2; 0,3; …). Для λ1 каждый шаг: ортогонализация к уже найденным осям, умножение на A, нормировка. Ошибка убывает не медленнее геометрической прогрессии γⁱ с γ = |λ2/λ1| = 0,215: чем ближе соседние собственные значения, тем медленнее. Понадобилось шагов: 8; точное λ1 = 4,09997.

TorgersonMap (гл. 20 §4)

Линейное шкалирование Торгерсона: признаки собак и волков

123456

μ_l матрицы G*3820,51320,6316,512,50,0-187,2
% от следа72,325,06,00,20,0-3,5
G* не является неотрицательно определённой: отрицательное собственное значение -187,2 (красное). На первые 2 оси приходится 97,3 % следа.Расстояния на плоскости и в скобках — заданные d′ = d + a:
123456
118 (4)66 (65)36 (39)29 (28)41 (41)
280 (80)35 (34)27 (26)39 (41)
362 (63)65 (65)64 (65)
48 (11)5 (24)
513 (21)
6
Красным — расхождения больше 8. На карте синие точки — размеры черепа, красные — размеры зубов. Признаки: 1 — длина черепа; 2 — длина верхней челюсти; 3 — ширина верхней челюсти; 4 — длина верхнего карнивора; 5 — длина первого верхнего моляра; 6 — ширина первого верхнего моляра.

SammonMap (гл. 20 §6)

Нелинейное понижение размерности: метод Сэммона

Первые две главные компонентыААААББББВВВВГГГГДДДДЕЕЕЕЖЖЖЖИИИИККККЛЛЛЛММММННННППППРРРРССССТТТТ
Метод СэммонаААААББББВВВВГГГГДДДДЕЕЕЕЖЖЖЖИИИИККККЛЛЛЛММММННННППППРРРРССССТТТТ

16 групп по 4 точки вблизи вершин правильного симплекса в ℝ¹⁵ (буква — номер группы). На первую главную компоненту приходится 8,8 % следа, на вторую — 8,2 %, на обе — лишь 17,0 %: группы на проекции наползают друг на друга. Метод Сэммона (старт с той же проекции, сопряжённые градиенты) снизил F₁ с 0,42 до 0,13, и группы разошлись. У Лагутина: 8,3 %, 7,6 % и F₁ от 0,44 до 0,13.

Наискорейший спуск против сопряжённых градиентов

Старт из (−6/5; 1), минимум в (1; 1). Серые точки — линии уровня «серповидного ущелья». Красная ломаная — наискорейший спуск: шагов 1000, конец (0,913; 0,833), F = 0,0076. Синяя — сопряжённые градиенты: шагов 33, конец (1,000; 1,000), F = 3,3e-10. Спуск мечется поперёк дна оврага мелкими зигзагами, сопряжённые градиенты идут вдоль него.

Пропуски в данных: средним или локально?

способρ̂(X, Y)стандартное отклонение Y
полные данные (до стирания)0,7140,991
только строки без пропусков0,715—
заполнение средним0,6000,824
локальное заполнение0,7120,982

2000 пар (X, Y) из двумерного нормального закона; у 580 строк значение Y стёрто независимо от значений. Заполнение средним сжимает разброс Y и занижает связь. Локальное заполнение (берём Y у ближайшей по X полной строки) сохраняет и распределение, и корреляцию.

RankCorrelation (гл. 20 §7–8)

Корреляция: обычная и ранговая

коэффициентзначениеp-значение (H₁: связь положительна)
Пирсон ρ̂0,3410,0331 (норм. прибл.)
Спирмен ρ_S0,2250,1124 (норм. прибл.)
Кендэл τ0,1720,0942 (точно)
Поправка Имана — Коновера: ρ̃_S = 1,22 против z₀,₀₅ = 1,67 — H₀ принимается. Для нормальной пары все три коэффициента в среднем согласуются, но на малых n их p-значения могут заметно расходиться — перебрось выборку. |τ| обычно меньше |ρ_S|: у них разная шкала.

Законы ρ_S и τ при независимости

−101

Точный закон ρ_S при независимости (перебор всех 8! перестановок): симметричен относительно 0, Dρ_S = 1/(n − 1) = 0,1429. Корреляция ρ_S и τ по 1500 случайным перестановкам: 0,983, по формуле Кендэла и Стьюарта 2(n + 1)/√(2n(2n + 5)) = 0,982. Коэффициенты почти линейно связаны, хотя ρ_S и придаёт инверсиям веса (j − i).

Частная корреляция: исключаем общий фактор

200 плавок: Z — сорт сырья, X — время плавки, Y — процент брака. X и Y оба зависят от Z, а прямое влияние X на Y равно 0,00. Обычная корреляция ρ̂_XY = 0,698; с Z: ρ̂_XZ = 0,835, ρ̂_YZ = 0,824. Частная корреляция ρ̂_XY|Z = 0,033 (p = 0,6454), частный τ = 0,177. Видимая связь — «ложная»: после исключения Z она пропадает. Пример 10 из книги: ρ̂_xy = 0,105, но ρ̂_xy|z = 0,908.

Согласованность экспертов: коэффициент конкордации W

123456789101112131415
Столбики — суммы рангов Σⱼ Rᵢⱼ для каждого объекта, пунктир — их среднее k(n + 1)/2. Полное согласие — «лестница», полный разнобой — все столбики у пунктира. Пример 9 у Лагутина: ρ_S = 0,917 по (20) и 0,921 по (22); τ = 0,733.

Коэффициент конкордации W = 0,714; средний коэффициент Спирмена по всем парам экспертов ρ̄_S = 0,699, и ((k − 1)ρ̄_S + 1)/k = 0,714 — то же самое. Статистика k(n − 1)W = 199,92 при 14 степенях свободы, p = 5,7e-35. Вопрос 3: при k = 20, n = 15 даже W = 0,09 даёт 25,2 > 23,7 — согласие значимо.

LineFit (гл. 21 §1)

Подгонка прямой: МНК против метода Тейла

Красная — МНК: b̂ = 0,572, â = 2,15. Синяя — метод Тейла: b̃ = 0,596 (медиана 105 попарных наклонов), ã = 1,95. Зелёный пунктир — первая главная компонента (замечание 1): наклон 0,592.Подвинь одну точку подальше: МНК-прямая поворачивается за ней, а наклон Тейла почти не меняется — один «выброс» портит не больше (n − 1) из n(n − 1)/2 попарных наклонов. Проверка замечания 2: τ(b̃) = 0,000.

Подгонка прямой: МНК против метода Тейла

Красная — МНК: b̂ = 0,353, â = 0,75. Синяя — метод Тейла: b̃ = 0,359 (медиана 55 попарных наклонов), ã = -0,71. Зелёный пунктир — первая главная компонента (замечание 1): наклон 0,353. МНК для прямой через начало Y = bX: b̂ = 0,354.Подвинь одну точку подальше: МНК-прямая поворачивается за ней, а наклон Тейла почти не меняется — один «выброс» портит не больше (n − 1) из n(n − 1)/2 попарных наклонов. Проверка замечания 2: τ(b̃) = 0,000. Как в книге: наименьший наклон 0,187, медиана 0,359, МНК 0,353.

RegressionInference (гл. 21 §3, §5)

Доверительные интервалы в линейной модели

оценкаâ = 0,535b̂ = -0,501σ̂ = 0,113
95 %-й интервал(0,48; 0,59)(-0,59; -0,41)(0,09; 0,17)
Полоса — интервалы (21) для значения прямой a + bu. RSS = 0,229, n = 20. В точке u₉ = 0,7 интервал (0,10; 0,27); наблюдение 0,46 (красное) почти достигает верхней границы, увеличенной на 2σ̂: 0,27 + 0,22 = 0,49 — вероятно, «выброс». Как в книге: (0,08; 0,17), (0,48; 0,59), (−0,59; −0,41), (0,10; 0,27).

Проверка интервалов моделированием

для b
для σ

2000 раз моделируем данные как в примере 4 (a = 0,5, b = −0,5, σ = 0,1, по два измерения в 10 узлах) и строим 95 %-е интервалы. Интервал для b (20) накрыл истину в 95,1 % случаев, интервал для σ (19) — в 95,3 %. При нормальных ошибках оба интервала честно держат 95 %.

Взвешенный МНК: неравноточные наблюдения

МНК
взвешенный

Пример 6: Y = θX (потери тепла от разности температур), x от 1 до 10, 20 наблюдений, 3000 повторов. Обычный МНК: θ̂ = Σxη/Σx², стандартное отклонение оценки 0,1423. Взвешенный МНК (θ̂ = (1/n)Σ(ηᵢ/xᵢ)): 0,1107. Выигрыш по дисперсии — в 1,65 раза: точным наблюдениям — больший вес.

FTestExplorer (гл. 21 §4)

F-критерий общей линейной гипотезы

F₀,₉₅ = 3,07R = 0,990

θ̂ = (0,535; -0,501), RSS = 0,229, D₀ = 0,1277 (разброс повторных измерений), k = 10 узлов.R = 0,994 при (8, 10) степенях свободы, 95 %-квантиль закона Фишера 3,07, p = 0,4932: гипотеза адекватности не отвергается. Как в книге: R = 1,00 < 3,07.

F-критерий общей линейной гипотезы

F₀,₉₅ = 3,07R = 5,650

θ̂ = (0,535; -0,344), RSS = 0,705, D₀ = 0,1277 (разброс повторных измерений), k = 10 узлов.R = 5,650 при (8, 10) степенях свободы, 95 %-квантиль закона Фишера 3,07, p = 0,0067: гипотеза адекватности отвергается. У Лагутина R = 5,76; наш пересчёт по данным книги даёт 5,65 — вывод тот же.

F-критерий общей линейной гипотезы

F₀,₉₅ = 4,41R = 4,850

â = 0,525, b̂ = -0,093, RSS = 0,213, D₀₁ = b̂²|x₂|² = 0,0573.R = 4,848 при (1, 18) степенях свободы, 95 %-квантиль закона Фишера 4,41, p = 0,0410: наклон значимо отличен от нуля — понизить размерность нельзя. В книге стоит «4,77 < 4,41» — опечатка: 4,77 > 4,41, и вывод книги («понизить размерность не удаётся») соответствует именно «>». Наш точный пересчёт: 4,85.

F-критерий общей линейной гипотезы

F₀,₉₅ = 4,04R = 0,730

b̂ = -1,367, â = 79,23, D₀ = RSS = 9608,7, D₁ = 9755,2.R = 0,732 при (1, 48) степенях свободы, 95 %-квантиль закона Фишера 4,04, p = 0,3965: наклон можно считать равным нулю. Как в книге: R = 0,732 < 4,04.

F-критерий общей линейной гипотезы

F₀,₉₅ = 3,10R = 3,500

4 группы по 6 наблюдений, у последней среднее сдвинуто на 0,30. L₀ — средние по группам, L₁ — общее среднее.R = 3,501 при (3, 20) степенях свободы, 95 %-квантиль закона Фишера 3,10, p = 0,0345: средние групп различаются.

RegressionParadoxes (гл. 21 §6)

Парадоксы регрессии

37000850

Девять городов (данные модельные, подобраны под книгу): ρ̂ = 0,403 — связь слабая. С Нью-Йорком: ρ̂ = 0,995, а прямая — по сути отрезок от «центра масс» девяти городов к одной далёкой точке. Как в книге: 0,403 и 0,995. Одна аномальная точка по оси X решает всё.

Парадоксы регрессии

6-1010

Девять точек на «галочке» y = |u − 5| и интерполяционный многочлен Лагранжа степени 9. Диапазон многочлена на [0, 10]: от -2,0 до 10,6 (окно — от −1 до 6). Одна «шумная» точка рядом с узлом — и многочлен начинает раскачиваться по всему отрезку: интерполяция — частный случай регрессии при n = m, а в нём шум ничем не гасится.

Парадоксы регрессии

модельθ̂ по всем 20σ̂θ̂ по 10 тяжёлымσ̂ на 10 лёгких
1. линейная-1102,82; 11,02; -2,3240,5-1427,03; 14,35; -4,4563,1
2. степенная1,79e-4; 3,00; -0,1336,71,18e-4; 3,64; -0,7225,4
3. содержательная1,12e-438,71,13e-425,4

20 коров (данные модельные): вес Z = θ₀X²Y·(1 + шум), X — обхват, Y — длина туловища (см). Модели: (1) Z = θ₁ + θ₂X + θ₃Y, (2) Z = θ′₁X^θ′₂Y^θ′₃, (3) Z = θ₀X²Y. Обучаемся на 10 самых тяжёлых и проверяем на 10 лёгких. Формальные модели с тремя «рычагами» подгоняются к обучающей подвыборке не хуже содержательной, но их коэффициенты неустойчивы, и на новых данных они ошибаются заметно сильнее (красное). В среднем по 40 повторам моделирования — в 1,7 и 1,5 раза. В книге — более чем в 3 раза.

KernelDensity (гл. 22 §1)

Оценка плотности: выбор ширины окна

0,00,20,40,60,81,012345

Пример 1: выборка из плотности p(z) = 2(I[0,1; 0,4] + I[0,6; 0,8]) (серая «ступенька»), синяя кривая — оценка Розенблатта — Парзена с ядром «Треугольное», h = 0,100. Интегральная квадратичная ошибка ∫(p̂ − p)² = 0,246. Окно разумное: видны оба «плато». Штрихи внизу — сами наблюдения.

Ядра: форма почти не важна

-11

Nядроq(y)α = ∫q²β = ∫y²qE(q)
1Епанечникова(3/4)(1 − y²) на [−1, 1]0,6000,2001,000
2Квартическое(15/16)(1 − y²)² на [−1, 1]0,7140,1430,995
3Треугольное1 − |y| на [−1, 1]0,6670,1670,989
4Гаусса(2π)^(−1/2) exp(−y²/2)0,2821,0000,961
5Прямоугольное1/2 на [−1, 1]0,5000,3330,943
Эффективность E(q) — отношение минимального риска J(h*) с ядром Епанечникова к риску с ядром q. Для той же точности ядру q нужно в E^(−5/4) раз больше наблюдений: прямоугольному — всего на 7,6 % больше. Выбор ядра мало влияет на точность.

Смещение против разброса: оптимальная ширина окна

0,51,01,52,0

Истинная плотность — N(0, 1), γ = ∫(p″)² = 3/(8√π) ≈ 0,212. Красная — квадрат смещения ¼β²γh⁴, синяя — дисперсия α/(nh), чёрная — их сумма J(h) (5). Оптимум h* = 1,026, J(h*) = 0,00813. Увеличь n в 32 раза — h* уменьшится лишь вдвое (h* ∝ n^(−1/5)), а J — в 16 раз (∝ n^(−4/5)).

KernelRegression (гл. 22 §2)

Непараметрическая регрессия: оценка Надарая — Ватсона

4-30,01,0

Пример 2 (данные модельные): m(x) = 1 − x + exp(−200(x − ½)²) (пунктир) — прямая с узким «горбом» в ½, n = 50, xᵢ = i/50, шум N(0, σ²). Синяя — оценка с ядром «Квартическое», h = 0,09; в точке ½ она равна 1,17 (истина 1,5). При σ = 1, как в книге, «горб» в облаке точек не различить, а сглаживание его находит.

Метод пропуска (кросс-проверка)

0,10,20,30,40,5h = 0,094-30,01,0

S(h) = Σ[Yᵢ − m̂₋ᵢ(Xᵢ)]² — сумма квадратов ошибок предсказания каждой точки по остальным. Минимум при h = 0,09; снизу — оценка с этим окном. В книге (на её данных) S(h) имеет два локальных минимума, около 0,1 и 0,3, а глобальный — при h = 0,09. На наших модельных данных (по умолчанию) картина похожая; нажми «Новые данные» — при таком сильном шуме оптимальное окно заметно «гуляет» от выборки к выборке.

Переменное окно: k ближайших соседей

2-20,01,0

«Где пусто, а где густо»: 60 точек сгущаются у левого края, справа их мало. Пунктир — истинная кривая sin 2πx. Синяя — постоянное окно h: одно и то же h не подходит всюду. Там, где точек много, его можно было бы сузить, а справа, где точек мало, оценка дёргается или обрывается, если в окно не попала ни одна точка. Зелёная — окно до k-го соседа: само подстраивается под густоту точек.

Алгоритм LOWESS: устойчивое сглаживание

6-50,051,0

Пример 4 (модельно): Yᵢ = xᵢ/50 + εᵢ, xᵢ = 1…50, εᵢ ~ N(0, 1), плюс «выбросы» у краёв (красные). Пунктир — истинный тренд, серая — МНК-прямая (её выбросы тянут на себя). Красная тонкая — локальная линейная подгонка без робастификации, синяя — LOWESS после 2 итераций: веса cᵢ = q(ε̂ᵢ/(6σ̂)) гасят точки с большими невязками. Средняя ошибка относительно тренда: 0,434 без робастификации и 0,267 после.

SignVectorTest (гл. 23 §2)

Многомерный критерий знаков: таблица 2×2

Q нижеQ выше
V ниже 34 22
V выше 8 36
n = 100
S* = 0,06 + 6,53 = 6,59, p = 0,037 → отвергаем
только V: 56 ниже / 44 выше, α₀ = 0,136 → не отвергаем
только Q: 42 ниже / 58 выше, α₀ = 0,067 → не отвергаем

Знаки отклонений от национальных средних: «ниже» = −, «выше» = +. S* = (N⁺⁺ − N⁻⁻)²/(N⁺⁺ + N⁻⁻) + (N⁺⁻ − N⁻⁺)²/(N⁺⁻ + N⁻⁺) — формула (3); при H₀ она приближённо χ²₂, 0,95-квантиль 5,99. Одномерные α₀ — критерий знаков по одной координате, нормальное приближение с поправкой на непрерывность, односторонняя альтернатива (у Лагутина для Q напечатано 0,069; точный счёт даёт 0,067). Многомерный критерий смотрит на диагонали таблицы: перекос «выше по V, ниже по Q» против «ниже по V, выше по Q» (8 против 22) и выдаёт сдвиг, который по каждой оси в отдельности не дотягивает до 5 %.

Одновыборочные многомерные критерии: знаки, ранги, Хотеллинг

1001201401601806080100120
Знаки: S = (3; −11), S* = 9,00, p = 0,011 → отвергаем
Знаковые ранги: T = (3,13; −4,81), v̂₁₂ = 0,077
(nV̂)⁻¹ = [0,219; −0,052 | −0,052; 0,219]
T* = 8,787, p = 0,012 → отвергаем
Хотеллинг: X̄ = (127,5; 75,3), G = 4,12, p = 0,041 → отвергаем
Σ̂ = [269,2; 106,5 | 106,5; 182,7]
θ̂ (Уолш) = (126,0; 73,0)

Точки — (X, Y) у 15 индейцев, крест — θ′ (стандарт США 120/80), синий ромб — оценка сдвига θ̂ из медиан средних Уолша. Пунктир делит плоскость на четверти — по ним считаются знаки. Знаково-ранговый T* у нас 8,787, а не 8,605, как у Лагутина: в его таблице для X = 118 знаковый ранг напечатан как −8 вместо −1. Поверни облако: S* и T* меняются (они не инвариантны к вращению), а G Хотеллинга — нет. Убери два выброса — и G подскакивает до 13, а Σ̂ становится совсем другой: Хотеллинг неустойчив.

MultiShiftPower (гл. 23 §1–3)

Многомерные критерии сдвига: уровень и мощность

S* (знаки)45 %T* (знаковые ранги)71 %Хотеллинг G76 %знаки по осям, Бонф.24 %ранги по осям, Бонф.42 %5 %100 %

400 повторений, уровень 0,05; доля отклонений гипотезы = мощность (при сдвиге 0 — фактический уровень, пунктир 5 %). «По осям, Бонф.» — наивная стратегия: одномерный критерий по каждой координате на уровне 0,025, отвергаем, если сработал хоть один. Сдвиг в направлении −30° при ρ = 0,5 идёт «поперёк» корреляции — тут многомерные критерии выигрывают у покоординатных почти вдвое; поставь 45° (вдоль корреляции) — и выигрыш пропадает: многомерный критерий учитывает, что такой сдвиг похож на обычный совместный разброс.

Многомерные критерии сдвига: уровень и мощность

S* (знаки)23 %T* (знаковые ранги)26 %Хотеллинг G6 %знаки по осям, Бонф.13 %ранги по осям, Бонф.17 %5 %100 %

400 повторений, уровень 0,05; доля отклонений гипотезы = мощность (при сдвиге 0 — фактический уровень, пунктир 5 %). «По осям, Бонф.» — наивная стратегия: одномерный критерий по каждой координате на уровне 0,025, отвергаем, если сработал хоть один. Для Коши у Хотеллинга нет даже средних — мощность почти не растёт со сдвигом, а ранговые критерии работают. Сдвиг в направлении −30° при ρ = 0,5 идёт «поперёк» корреляции — тут многомерные критерии выигрывают у покоординатных почти вдвое; поставь 45° (вдоль корреляции) — и выигрыш пропадает: многомерный критерий учитывает, что такой сдвиг похож на обычный совместный разброс.

Многомерные критерии сдвига: уровень и мощность

W* (ранговые суммы)58 %Хотеллинг (2 выборки)17 %Уилкоксон по осям, Бонф.35 %5 %100 %

400 повторений, уровень 0,05; доля отклонений гипотезы = мощность (при сдвиге 0 — фактический уровень, пунктир 5 %). «По осям, Бонф.» — наивная стратегия: одномерный критерий по каждой координате на уровне 0,025, отвергаем, если сработал хоть один. В двухвыборочной задаче симметрия не нужна (форма у обеих выборок одна), но на «веере» ранги заметно мощнее Хотеллинга: длинный хвост раздувает выборочные дисперсии. Сдвиг в направлении −30° при ρ = 0,5 идёт «поперёк» корреляции — тут многомерные критерии выигрывают у покоординатных почти вдвое; поставь 45° (вдоль корреляции) — и выигрыш пропадает: многомерный критерий учитывает, что такой сдвиг похож на обычный совместный разброс.

MigraineRanks (гл. 23 §3)

Две выборки: многомерный критерий Уилкоксона — Манна — Уитни

02468101204812
n = 41, m = 58, N = 99; различных точек: 31 и 21
X̄, Ȳ: I (4,2; 7,1), II (3,7; 9,8)
ст. откл.: I (2,7; 2,7), II (0,8; 1,7)
W = (1,305; 6,475), v̂₁₁ = 0,020, v̂₁₂ = 0,0025
(NV̂)⁻¹ = [0,513; −0,064 | −0,064; 0,513]
W* = 21,28, p < 0,001 (0,999-квантиль χ²₂ = 13,8)
по X отдельно: z = 0,93; по Y: z = 4,60
для сравнения Хотеллинг (неуместен — «веер»): F = 19,3

Чёрные кружки — группа I (данные самого исследователя), синие квадраты — группа II (заимствованные); размер значка — сколько больных совпало в одной точке. X — длительность приступа (ч), Y — частота приступов (дней в месяц). У группы II разброс намного меньше, «облако» круглое и с массой совпадений; у группы I — «веер», расширяющийся вверх и вправо. Восстановлено: ведущая единица у Y возвращена, добавлены пары (2,5; 8) в I и (3; 10) в II — и все числа книги сходятся до последнего знака.

Две выборки: многомерный критерий Уилкоксона — Манна — Уитни

02550751000255075100
n = 41, m = 58, N = 99; различных точек: 31 и 21
X̄, Ȳ: I (4,2; 7,1), II (3,7; 9,8)
ст. откл.: I (2,7; 2,7), II (0,8; 1,7)
W = (1,305; 6,475), v̂₁₁ = 0,020, v̂₁₂ = 0,0025
(NV̂)⁻¹ = [0,513; −0,064 | −0,064; 0,513]
W* = 21,28, p < 0,001 (0,999-квантиль χ²₂ = 13,8)
по X отдельно: z = 0,93; по Y: z = 4,60
для сравнения Хотеллинг (неуместен — «веер»): F = 19,3

Чёрные кружки — группа I (данные самого исследователя), синие квадраты — группа II (заимствованные); размер значка — сколько больных совпало в одной точке. X — длительность приступа (ч), Y — частота приступов (дней в месяц). В рангах «хвост» группы I по X (точки с X = 7…12) прижат к краю: ранг не знает, насколько далеко точка, — поэтому одномерный критерий по X сдвига не видит (z ≈ 0,93). Восстановлено: ведущая единица у Y возвращена, добавлены пары (2,5; 8) в I и (3; 10) в II — и все числа книги сходятся до последнего знака.

AnsariBradley (гл. 24 §1)

Критерий Ансари — Брэдли

меньшие Xбольшие Xметка = min(r, N + 1 − r)
n = 41, m = 58, групп совпадений g = 15; Z = 1784,2, MZ = 1464,6, DZ = 4955,7 (с совпадениями 4616,7)
z* = 4,54 (без поправки), z* = 4,70 с поправкой; двусторонний p < 0,001

Все 99 значений длительности приступа упорядочены по возрастанию; высота столбика — метка Ансари — Брэдли: 1 у краёв, (N + 1)/2 в середине (при совпадениях — средняя метка группы). Чёрные — группа I, синие — группа II (Y). Z — сумма синих меток: группа II сидит в середине ряда, её метки велики, Z ≫ MZ — значит, у неё разброс меньше. С поправкой на совпадения z* = 4,70 (в книге 4,7). Двигай ползунок: критерий Ансари — Брэдли честен, только если медианы равны.

Точный закон статистики Ансари — Брэдли

919
N = 9, MZ = 13,89, DZ = 4,32. Отвергаем H₀ на уровне ≤ 0,05, если Z ≤ 9 или Z ≥ 19.

При H₀ все C(N, m) размещений Y-ов по N местам равновероятны (комментарий 1) — отсюда точный закон Z. Красные столбики — хвосты, которые вместе дают не больше 5 % (двусторонний критерий). Синяя кривая — нормальное приближение с MZ и DZ из формулы (1). При малых n и m закон заметно «зубчатый», а при n, m ≈ 10 приближение уже хорошее.

MosesTest (гл. 24 §2)

Критерий Мозеса и оценка Шорака

110100● C (группа I) ■ D (группа II); шкала логарифмическая
n′ = 5, m′ = 7
C = 33,5; 23,0; 20,7; 97,5; 106,0
D = 4,0; 0,5; 3,4; 4,9; 6,5; 4,4; 10,0
U = 0,0; P(U ≤ 0,0) = 0,0013; двусторонний p = 0,0025 → разбросы различаются
γ̂ = σ₂/σ₁ = 0,320, 1/γ̂ = σ₁/σ₂ = 3,122

Каждая подгруппа из k наблюдений превращается в одно число — сумму квадратов отклонений от своего среднего (Cᵣ для группы I, Dₛ для группы II). Сдвиг медиан на эти числа не влияет, поэтому равенство медиан не требуется. Затем Cᵣ и Dₛ сравниваются критерием Уилкоксона — Манна — Уитни: U — число пар (r, s) с Cᵣ < Dₛ. При разбиении из книги все C больше всех D, U = 0, и точная вероятность этого при H₀ равна 1/C(12, 5) = 1/792 ≈ 0,0013 (у Лагутина — «менее 0,001»). Оценка Шорака: γ̂ — корень из медианы всех отношений Dₛ/Cᵣ; сейчас 1/γ̂ = 3,122 (в книге 3,112).

Критерий Мозеса зависит от жребия

2,264,46оценка σ₁/σ₂

Одни и те же данные (признак X, группы I и II), 300 разных случайных разбиений на подгруппы по k = 8. Гистограмма — оценки Шорака σ₁/σ₂; они разбросаны от 2,26 до 4,46. При 0,7 % разбиений критерий Мозеса НЕ отвергает H₀ на уровне 0,05. Это и есть недостаток из комментария 2: два честных исследователя могут получить разные выводы, а нечестный — перебирать разбиения, пока не выйдет «нужное». Допустима лишь одна чисто случайная группировка! Подвигай k: при малых k (много подгрупп) результат устойчивее, при больших — подгрупп мало, и уровень 5 % может стать недостижимым.

ScaleTestsPower (гл. 24 §1–2)

Критерии масштаба: Ансари — Брэдли, Мозес, F

XYАнсари — Брэдли78,8 %Мозес (k = 5)73,5 %F-критерий95,8 %5,0 %

400 повторений, двусторонние критерии уровня 0,05. При σ₂/σ₁ = 1 столбики — фактический уровень (должен быть около 5 %), иначе — мощность. Подвинь мешающий сдвиг: мощность Ансари — Брэдли тает (он предполагает равные медианы), а Мозес её не замечает — суммы квадратов внутри подгрупп от сдвига не зависят. Включи закон Лапласа или Коши при σ₂/σ₁ = 1: классический F-критерий (отношение выборочных дисперсий) начинает «видеть» несуществующую разницу — он держит уровень только для нормальных данных. Ранговые критерии свободны от распределения.

Критерии масштаба: Ансари — Брэдли, Мозес, F

XYАнсари — Брэдли61,5 %Мозес (k = 5)51,5 %F-критерий87,5 %5,0 %

400 повторений, двусторонние критерии уровня 0,05. При σ₂/σ₁ = 1 столбики — фактический уровень (должен быть около 5 %), иначе — мощность. Подвинь мешающий сдвиг: мощность Ансари — Брэдли тает (он предполагает равные медианы), а Мозес её не замечает — суммы квадратов внутри подгрупп от сдвига не зависят. Включи закон Лапласа или Коши при σ₂/σ₁ = 1: классический F-критерий (отношение выборочных дисперсий) начинает «видеть» несуществующую разницу — он держит уровень только для нормальных данных. Ранговые критерии свободны от распределения.

Два критерия сразу: сдвиг и масштаб

Уилкоксон (сдвиг)4,8 %Ансари — Брэдли5,5 %оба сразу0,1 %хотя бы один10,1 %9,8 %

Гипотеза верна: X и Y из одного закона. Применяем сразу два критерия: Уилкоксона — Манна — Уитни (сдвиг) на уровне α₁ = 0,05 и Ансари — Брэдли (масштаб) на уровне α₂ = 0,05. Рэндлс и Хогг показали, что при H₀ их статистики асимптотически независимы, поэтому «отвергли хотя бы одним» случается с вероятностью ≈ α₁ + α₂ − α₁α₂ = 9,75 % (пунктир), а «оба сразу» — ≈ α₁α₂ = 0,25 %. Мораль: проверяешь две вещи — плати уровнем за обе. 1500 повторений.

LEstimateWeights (гл. 25 §1)

L-оценки: весовая функция λ(t)

0,000,250,500,751,001,60
Закон: Логистический (F(x) = 1/(1 + e⁻ˣ)). σ²(F, λ) = 3,000, граница 1/I(F) = 3,000, эффективность 1/(I·σ²) = 1,000

Линия — весовая функция λ(t) на [0, 1]: какой вес получает порядковая статистика X₍ᵢ₎ с i/(n + 1) ≈ t. Точки — веса wᵢ для n = 20 (нормированы к сумме 1, ×n). σ²(F, λ) — асимптотическая дисперсия по теореме 1, 1/I(F) — нижняя граница (теорема 2: её достигает λ*). По книге: λ*(t) = 6t(1 − t).

L-оценки: весовая функция λ(t)

0,000,250,500,751,004,00
Закон: Коши (p(x) = 1/(π(1 + x²))). σ²(F, λ) = 2,000, граница 1/I(F) = 2,000, эффективность 1/(I·σ²) = 1,000

Линия — весовая функция λ(t) на [0, 1]: какой вес получает порядковая статистика X₍ᵢ₎ с i/(n + 1) ≈ t. Точки — веса wᵢ для n = 20 (нормированы к сумме 1, ×n). σ²(F, λ) — асимптотическая дисперсия по теореме 1, 1/I(F) — нижняя граница (теорема 2: её достигает λ*). По книге: λ*(t) = 2cos(2πt)[cos(2πt) − 1]. У Коши λ* отрицательна при |t − ½| > ¼: крайним наблюдениям даётся отрицательный вес — они «вычитаются».

L-оценки: весовая функция λ(t)

Для закона Лапласа γ(x) = sign x, γ′ = 2δ(0): весь вес сосредоточен в точке t = ½ — оптимальная L-оценка есть выборочная медиана MED.
Закон: Лаплас (p(x) = ½e^(−|x|)). σ²(F, λ) = 1,000, граница 1/I(F) = 1,000, эффективность 1/(I·σ²) = 1,000

Линия — весовая функция λ(t) на [0, 1]: какой вес получает порядковая статистика X₍ᵢ₎ с i/(n + 1) ≈ t. Точки — веса wᵢ для n = 20 (нормированы к сумме 1, ×n). σ²(F, λ) — асимптотическая дисперсия по теореме 1, 1/I(F) — нижняя граница (теорема 2: её достигает λ*). По книге: весь вес — в t = ½ (медиана).

MEstimatorLab (гл. 25 §2)

M-оценки: функции ρ и ψ

8,00,0−6,06,03,0−3,0−6,06,0
Нормальный закон: σ² Хьюбера = 1,037 (эффективность 0,964), Тьюки = 1,053 (эфф. 0,950).
Коши: X̄ — ∞, MED — 2,467, Хьюбер — 2,993, Тьюки — 2,350; граница 1/I(F) = 2,000
ψ Тьюки на графике уменьшена вдвое для масштаба.

Сверху — «мера разброса» ρ: красная — ρ_b Хьюбера (парабола x²/2 внутри [−b, b], прямые снаружи), пунктир — x²/2 (среднее), серая — |x| (медиана). Снизу — ψ = ρ′: у Хьюбера она обрезана на уровне ±b, у Тьюки (синяя) возвращается к нулю — далёкие точки не влияют вовсе. Увеличивай b — Хьюбер сближается с X̄, уменьшай — с медианой. Асимптотические дисперсии — по формуле (11).

M-оценки на выборке с выбросом

X̄MEDХьюберТьюки
X̄ = 1,093, MED = 0,571, MAD = 0,923
Хьюбер: θ̃₀ … θ̃ = 0,571 → 0,427 → 0,411 → 0,409 → 0,409 → 0,409 → … → 0,409 (12 итер.)
Тьюки: 0,571 → 0,339 → 0,306 → 0,301 → 0,301 → 0,301 → … → 0,301

14 точек из N(0, 1) и одна, которую ты двигаешь. Масштаб — нормированная MAD (замечание 3), M-оценки считаются итерациями (16) W-оценки, начиная с θ̃₀ = MED. Тащи выброс вправо: X̄ уезжает за ним без ограничений, Хьюбер сдвигается на ограниченную величину и замирает, Тьюки при очень далёком выбросе просто перестаёт его замечать (вес 0).

Минимаксный подход Хьюбера: b(ε)

3,00,00,00,6ε = 0,050
b(0,050) = 1,398. Наименее благоприятный закон — плотность ∝ exp(−ρ_b(x)): нормальный в центре, экспоненциальные «хвосты» снаружи [−b, b].

Модель Хьюбера (12): F = (1 − ε)Φ + εH с произвольным симметричным H. Минимакс (13) — оценка с наименьшей наихудшей дисперсией; это M-оценка с ψ_b, где b(ε) — корень уравнения (14): 1/(1 − ε) = 2Φ(b) − 1 + 2φ(b)/b. Чем грязнее данные, тем меньше b, т. е. тем ближе оценка к медиане. Таблица книги: ε = 0,001 → 2,630; 0,01 → 1,945; 0,05 → 1,399; 0,1 → 1,140; 0,2 → 0,862; 0,5 → 0,436 (наш счёт расходится лишь в третьем знаке: 2,633 и 1,398).

RHalfSums (гл. 25 §3)

R-оценки: треугольник полусумм

1122334455667788k →, j ↓
d = (1,00; 1,00; 1,00; 1,00; 1,00; 1,00; 1,00; 1,00)
Медиана Уолша (все dᵢ = 1): 0,401
для сравнения MED = 0,336

Клетка (j, k), j ≤ k — полусумма (X₍ⱼ₎ + X₍ₖ₎)/2; цвет — её вес w_jk из (17): d с номером n − (k − j), делённое на Σ i·dᵢ. Вес зависит только от номера диагонали k − j (рис. 4 у Лагутина): главная диагональ — сами X₍ⱼ₎ (вес dₙ), угол (1, n) — середина размаха (вес d₁). R-оценка — медиана распределения полусумм с этими весами (на оси снизу: кружки — данные, ромбы — полусуммы с ненулевым весом). Оценка Гальтона берёт только полусуммы (X₍ᵢ₎ + X₍ₙ₋ᵢ₊₁₎)/2 — антидиагональ, у которой k − j меняется, — поэтому в класс R-оценок она не входит. Добавь выброс: середина размаха улетает, медиана Уолша сдвигается чуть-чуть.

R-оценки: треугольник полусумм

1122334455667788k →, j ↓
d = (1,00; 1,00; 1,00; 1,00; 1,00; 1,00; 1,00; 1,00)
Гальтон (не R-оценка): 0,383
для сравнения MED = 0,336

Клетка (j, k), j ≤ k — полусумма (X₍ⱼ₎ + X₍ₖ₎)/2; цвет — её вес w_jk из (17): d с номером n − (k − j), делённое на Σ i·dᵢ. Вес зависит только от номера диагонали k − j (рис. 4 у Лагутина): главная диагональ — сами X₍ⱼ₎ (вес dₙ), угол (1, n) — середина размаха (вес d₁). R-оценка — медиана распределения полусумм с этими весами (на оси снизу: кружки — данные, ромбы — полусуммы с ненулевым весом). Оценка Гальтона берёт только полусуммы (X₍ᵢ₎ + X₍ₙ₋ᵢ₊₁₎)/2 — антидиагональ, у которой k − j меняется, — поэтому в класс R-оценок она не входит. Добавь выброс: середина размаха улетает, медиана Уолша сдвигается чуть-чуть.

R-оценки: треугольник полусумм

1122334455667788k →, j ↓
d = (0,38; 0,26; 0,21; 0,18; 0,16; 0,15; 0,15; 0,15)
Нормальные метки N: 0,372
для сравнения MED = 0,336

Клетка (j, k), j ≤ k — полусумма (X₍ⱼ₎ + X₍ₖ₎)/2; цвет — её вес w_jk из (17): d с номером n − (k − j), делённое на Σ i·dᵢ. Вес зависит только от номера диагонали k − j (рис. 4 у Лагутина): главная диагональ — сами X₍ⱼ₎ (вес dₙ), угол (1, n) — середина размаха (вес d₁). R-оценка — медиана распределения полусумм с этими весами (на оси снизу: кружки — данные, ромбы — полусуммы с ненулевым весом). Оценка Гальтона берёт только полусуммы (X₍ᵢ₎ + X₍ₙ₋ᵢ₊₁₎)/2 — антидиагональ, у которой k − j меняется, — поэтому в класс R-оценок она не входит. Добавь выброс: середина размаха улетает, медиана Уолша сдвигается чуть-чуть.

InfluenceCurves (гл. 25 §3–4)

Функция влияния: что делает с оценкой одна точка

-8-4048-4-2024

Берём «идеальную» нормальную выборку из n − 1 точки (ожидаемые порядковые статистики) и добавляем к ней точку y. Сплошные линии — кривые чувствительности SC(y) = n·[T(с точкой y) − T(без неё)] — конечная версия функции влияния A(y) из (18); пунктир — теоретическая A(y) для N(0, 1). У X̄ влияние неограниченно (A(y) = y — прямая под 45°), у медианы — ступенька ±1/(2p(0)) ≈ ±1,25, у Хьюбера — ψ_b(y)/(2Φ(b) − 1), ограничена величиной c = b/(2Φ(b) − 1) ≈ 1,73 при b = 1,5. У Тьюки далёкая точка вообще не влияет.

L-, M- и R-оценки: кто где хорош

Проверка моделированием (n = 40, 300 выборок):
ОценкаклассНормальныйЛогистическийЛапласКошиЗасорённыйХьюбер (ε = 0,05)
Среднее X̄L, M, R1,003,292,00∞1,801,41
Медиана MEDL, M, R1,574,001,002,471,801,74
Усечённое 10 %L1,063,021,494,771,301,26
Усечённое 25 %L1,203,161,232,551,391,35
Хьюбер, b = 1,5M1,043,061,472,991,301,26
Тьюки (бивес)M1,053,571,432,351,281,28
Медиана Уолша WR1,053,001,333,291,311,26
Нормальные метки NR1,003,141,574,651,421,33
граница 1/I(F)1,003,001,002,001,261,26

Асимптотические дисперсии σ² (в единицах 1/n) по формулам теоремы 1 (L), (11) (M) и §3 (R); нижняя строка — граница Рао — Крамера 1/I(F). Жирным — лучшая оценка в столбце. Ни одна оценка не лучшая везде: X̄ идеальна для нормального закона и бесполезна для Коши, медиана — наоборот. Хьюбер и медиана Уолша почти нигде не проваливаются — это и есть робастность. Нормальные метки N на нормальном законе не хуже X̄, но на Коши — 4,65 при границе 2 (мнение Хьюбера в §3). Кнопки законов запускают моделирование: последняя колонка — n·Var по выборкам (для Коши у X̄ получится огромное случайное число).

BrownianPaths (гл. 26 §1–2)

Броуновское движение как предел блужданий

3,0−3,001t

Три симметричных блуждания по ±1 из n шагов (§6 гл. 14), сжатые по оси t в n раз, а по оси y — в √n раз. При n = 4 это грубые ломаные, при n = 2048 — уже «пушистые» кривые: в пределе возникает стандартное броуновское движение W(t). Почему по y именно √n: к моменту n блуждание уходит от нуля на величину порядка √n (дисперсия суммы n шагов ±1 равна n).

Броуновский мост

2,5−2,501t

Серая — траектория W(t), пунктир — прямая tW(1) из начала в конец траектории, красная — броуновский мост B(t) = W(t) − tW(1) (рис. 2 у Лагутина). Оба конца моста закреплены: B(0) = B(1) = 0. Сейчас W(1) = −0,04.

Ковариационные функции W и B

1,0−0,101t

Ковариация cov(X(s), X(t)) как функция t при s = 0,30 по 1500 траекториям: синяя — для W, теория R(s, t) = min{s, t} (пунктир); красная — для моста B, теория min{s, t} − st, формула (1). У W ковариация растёт до t = s и дальше постоянна (будущее не зависит от прошлого, кроме уже пройденного пути), у моста — «шалашик», обращающийся в 0 при t = 1: мост обязан вернуться в ноль.

У броуновской траектории нет производной

mсредняя |ΔW|/Δt√(2m/π)
163,23,2
645,86,4
25612,712,8
102425,525,5
409650,951,1

Средняя крутизна |ΔW|/Δt на сетке с шагом Δt = 1/m. Для гладкой функции она стабилизировалась бы около |f′|, а у W(t) растёт как √m (теория: √(2m/π)): приращение за время Δt порядка √Δt, а делим на Δt. Отсюда — траектории нигде не дифференцируемы, и каждый локальный максимум с ростом n становится всё «острее».

EmpiricalProcess (гл. 26 §2–3)

Эмпирический процесс

1,5−1,5
√n·Dₙ = sup|Bₙ| = 0,961; Uₙ = sup Bₙ = 0,961; nω² = ∫Bₙ²dt = 0,173

Выборка η₁ … ηₙ из равномерного закона на [0, 1]; эмпирический процесс Bₙ(t) = √n(F̂ₙ(t) − t) — пила: в каждой точке выборки скачок вверх на 1/√n, между точками — спуск с наклоном −√n. Концы закреплены: Bₙ(0) = Bₙ(1) = 0, как у моста. Увеличивай n — пила становится всё мельче и при n → ∞ неотличима от броуновского моста (теорема 1). Пунктиры — уровни ±√n·Dₙ.

Функционалы от эмпирического процесса и их пределы

100,02,2

Колмогоров √n·Dₙ = √n·sup|F̂ₙ(t) − t|. Синяя ступенька — эмпирическая функция распределения статистики по 1000 выборкам объёма n; красный пунктир — предельный закон: K(x) = 1 + 2Σ(−1)ᵏe^(−2k²x²). Все пять пределов — функционалы от одного и того же броуновского моста (теорема 2 и следствия 1–4). Максимальное расхождение: 0,044 (случайный шум при 1000 повторениях — около 0,03). Уменьши n — увидишь, при каких объёмах предел ещё врёт; у квантили и хи-квадрата при малых n заметна дискретность.

Функционалы от эмпирического процесса и их пределы

100,01,0

Крамер — Мизес nω² = n∫(F̂ₙ(t) − t)²dt. Синяя ступенька — эмпирическая функция распределения статистики по 1000 выборкам объёма n; красный пунктир — предельный закон: закон ∫B²(t)dt (формула Смирнова). Все пять пределов — функционалы от одного и того же броуновского моста (теорема 2 и следствия 1–4). Максимальное расхождение: 0,027 (случайный шум при 1000 повторениях — около 0,03). Уменьши n — увидишь, при каких объёмах предел ещё врёт; у квантили и хи-квадрата при малых n заметна дискретность.

Блуждание с положительными шагами и закон Колмогорова

100,02,2

Замечание из книги (к задаче 2 гл. 12): Sᵢ = X₁ + … + Xᵢ с положительными шагами, ξₙ = √n·max|Sᵢ/Sₙ − i/n|. Первый сомножитель в разложении сходится к σ/μ, второй — к закону Колмогорова, так что ξₙ/(σ/μ) → K(x). Для равномерных шагов σ/μ = 1/√3 ≈ 0,58, для показательных — 1 (тогда Sᵢ/Sₙ — это ровно упорядоченная равномерная выборка, и ξₙ — статистика Колмогорова). Расхождение с K(x): 0,161 — сходимость заметно медленнее, чем у самой статистики Колмогорова.

ProbabilityBasics (приложение П2–П4)

Математическое ожидание как интеграл Лебега

4,20013n
n = 4: сумма = 0,951; Mξ = 1,000

Сумма из определения Mξ (П2): ось значений режется на ступеньки шириной 2⁻ⁿ до высоты n, ξ округляется вниз до ступеньки, а всё, что выше n, считается равным n. С ростом n сумма растёт и подходит к Mξ (пунктир). У |Коши| математического ожидания нет — сумма растёт без предела. Отличие от интеграла Римана: режем не ось аргумента ω, а ось значений ξ — поэтому ω может быть чем угодно, хоть исходами бросков монеты.

Свёртка: закон суммы независимых величин

0,1801,512,5

Закон суммы очков на k кубиках — дискретная свёртка: P(ξ + η = x) = Σ P(ξ = x − y)P(η = y). При k = 2 — «домик» 1, 2, …, 6, …, 1 из 36. Пунктир — нормальная плотность с тем же средним и дисперсией: свёртка «скругляет» законы — это и есть ЦПТ в действии (П6).

Неравенство Чебышёва: граница против правды

1,0000,54k (в единицах σ)
При k = 2: точно 0,046, Чебышёв ≤ 0,250; при k = 3: точно 0,003, Чебышёв ≤ 0,111

Синяя — точная вероятность P(|ξ − Mξ| ≥ kσ), красная — граница Чебышёва 1/k² (П4). Граница верна для любого закона с конечной дисперсией, поэтому грубая: для нормального закона при k = 2 точно 0,046, а граница — 0,25. Но улучшить её нельзя: для закона на трёх точках (±2σ с вероятностью ⅛ каждая, 0 с вероятностью ¾) при k = 2 обе равны ¼.

ConvergenceLab (приложение П5–П6)

Виды сходимости: три контрпримера

1,1−0,1164n

«Пишущая машинка»: ξ_n — индикатор отрезка длины 2⁻ᵏ, который пробегает [0, 1] слева направо, затем вдвое короче — снова и т. д. P(ξ_n ≠ 0) = 2⁻ᵏ → 0 (красная): сходимость к 0 по вероятности и в среднем квадратическом. Но при каждом ω отрезок «наезжает» на него в каждом проходе — в точках n = 1, 2, 5, 10, 20, 41, … Последовательность ξ_n(ω) не сходится ни при одном ω: сходимости почти наверное нет.

Закон больших чисел и где он не работает

3,0−3,013000n

Бегущее среднее Sₙ/n для 3000 наблюдений: синее — N(0, 1), зелёное — показательный закон со средним 1 (пунктир), красное — закон Коши. По усиленному ЗБЧ (П6) первые два почти наверное сходятся к μ. У Коши μ = MX₁ не существует — и бегущее среднее до конца жизни дёргается от каждого нового «выброса»: Sₙ/n снова имеет закон Коши при любом n.

Скорость сходимости в ЦПТ

1e+01e-41200n (лог. шкала)
M|X − μ|³/σ³ = 1,700; при n = 16: sup|Fₙ − Φ| = 0,1479, граница 0,3253. Константы C из сноски книги: 7,5900 (Эссеен (первая оценка)); 2,9000 (Эссеен, 1956); 2,0500 (Уоллес, 1958); 0,9051 (Золотарёв, 1966); 0,7655 (Шиганов, 1982).

Синие точки — точное sup|Fₙ(x) − Φ(x)| для нормированной суммы n слагаемых (для равномерных при n > 12 — по разложению Эджворта). Красная — граница Берри — Эссеена C·M|X − μ|³/(σ³√n) с C = 0,7655 (Шиганов, 1982); пунктир — та же формула с C = 1/√(2π) ≈ 0,399, меньше которой константу сделать нельзя. Обе оси логарифмические: наклон −½ — скорость 1/√n. У бернуллиевских (скачки решётчатого закона) и показательных (асимметрия) слагаемых расстояние честно убывает как 1/√n, а у симметричного равномерного — как 1/n: граница рассчитана на худший случай.

ЦПТ для зависимых слагаемых

0,30,0−88

Xᵢ = Zᵢ + … + Zᵢ₊ₘ (сумма m + 1 соседних независимых N(0, 1)) — стационарная m-зависимая последовательность: соседи коррелированы, а через m шагов независимы. Гистограмма — Sₙ/√n по 2000 выборкам (n = 200). Синяя — N(0, σ²) по теореме Хефдинга — Робинса, σ² = DX₁ + 2Σcov(X₁, X₁₊ⱼ) = (m + 1)²; серый пунктир — «наивная» N(0, DX₁) = N(0, m + 1), которая забыла про ковариации. Выборочная дисперсия: 4,08 (теория 4).

ConditionalTransform (приложение П7–П8)

Условное математическое ожидание: средние по полосам

ηξ

1500 точек (η, ξ) двумерного нормального закона с ρ = 0,60; по горизонтали η, по вертикали ξ. Облако режется на вертикальные полосы, в каждой полосе ξ усредняется — красные точки. Это «эмпирическое» M(ξ | η ∈ полоса). Синяя прямая — точное M(ξ | η = y) = ρy (П7, для нормального закона). Чем уже полосы, тем ближе к определению M(ξ | η = y) — и тем меньше точек в полосе, тем больше дрожат средние.

Условное среднее на двух кубиках

Mξ = 72,00η = 1 (1/36)3,33η = 2 (3/36)4,80η = 3 (5/36)6,29η = 4 (7/36)7,78η = 5 (9/36)9,27η = 6 (11/36)

Бросаем два кубика: ξ — сумма очков, η — наибольшее из двух. Столбики — M(ξ | η = y), посчитанные по всем 36 равновозможным исходам. M(ξ | η) — случайная величина: она принимает значение M(ξ | η = y) с вероятностью P(η = y) (подписи под столбиками). Её среднее — свойство 1 из П7: M(M(ξ | η)) = Σ M(ξ | η = y)P(η = y) = 7,000 = Mξ = 7.

Преобразование плотности

06

Гистограмма — 20 000 значений η = φ(ξ); красная кривая — плотность по формуле преобразования (П8) p_η(y) = |J(y)|·p_ξ(φ⁻¹(y)): φ⁻¹(y) = e⁻ʸ, |J| = e⁻ʸ ⇒ p_η(y) = e⁻ʸ. Якобиан J(y) = (φ⁻¹)′(y) показывает, во сколько раз отображение «сжимает» или «растягивает» малый отрезок: где сжимает — плотность растёт.

MultiNormalLab (приложение П9)

Многомерный нормальный закон: эллипсы рассеяния

Σ = [2,25; 1,05 | 1,05; 1,00]
λ₁ = 2,847, λ₂ = 0,403
det Σ = λ₁λ₂ = 1,148
50 %, 90 %, 99 %

1200 точек N(0, Σ) и линии уровня плотности (ξ)ᵀΣ⁻¹ξ = c, внутри которых лежит 50 %, 90 % и 99 % вероятности. Оси эллипсов — собственные векторы Σ (П10), полуоси — √(λc). Наклон определяется корреляцией: при ρ = 0 оси эллипса параллельны координатным, и компоненты независимы — для нормального вектора некоррелированность равносильна независимости (П9).

Характеристические функции

1−1−66

ψ(t) = M e^(itξ) = M cos(tξ) + i·M sin(tξ). Тонкие линии — эмпирическая х. ф. (1/n)Σe^(itXⱼ) по выборке: синяя — действительная часть, зелёная — мнимая. Пунктир — теория. У симметричных законов мнимая часть равна нулю. ψ(0) = 1, |ψ(t)| ≤ 1 (свойство 1). У Коши ψ(t) = e^(−|t|) не дифференцируема в нуле — у закона нет даже первого момента (свойство 4: моменты ↔ производные в нуле).

Нормальные компоненты, но не нормальный вектор

Пример из П9: ξ, η ~ N(0, 1) независимы; ξ′ = ξ, а η′ = |η| со знаком ξ. Каждая компонента — стандартная нормальная (у η′ среднее 0,006, дисперсия 1,079), но точки живут только в I и III четвертях: плотность пары равна удвоенной нормальной там и нулю во II и IV. Такого облака у двумерного нормального закона не бывает. Корреляция 0,662 (точно 2/π ≈ 0,637). Мораль: нормальность каждой компоненты не делает вектор нормальным — нужна нормальность всех линейных комбинаций.

Квадратичная форма нормального вектора — хи-квадрат

0121
Доля ξᵀΣ⁻¹ξ ≤ 5,99 (0,95-квантиль χ²₂): 0,947

2000 векторов ξ ~ N(0, Σ) с текущей Σ; для каждого считаем ξᵀΣ⁻¹ξ. Синяя ступенька — эмпирическая функция распределения этих чисел, красный пунктир — функция распределения χ²₂. Совпадают при любых σ₁, σ₂, ρ: ξ = Σ^(1/2)ζ с независимыми N(0, 1) компонентами ζ, и ξᵀΣ⁻¹ξ = ζᵀζ = ζ₁² + ζ₂² (П9). На этом факте стоят критерии гл. 18 и 23.

MatrixLab (приложение П10)

Симметричная матрица: главные оси

A = [4,0; 2,0 | 2,0; 3,0]
λ₁ = 5,562, λ₂ = 1,438
e₁ = (0,788; 0,615), e₂ = (0,615; −0,788)
tr A = 7,000 = λ₁ + λ₂; det A = 8,000 = λ₁λ₂
главные миноры: D₁ = 4,000, D₂ = 8,000 → положительно определена

Серая окружность — все единичные векторы x; синяя кривая — их образы Ax. Для симметричной A это эллипс, а его оси — собственные векторы eᵢ (красный и зелёный): A их только растягивает, Aeᵢ = λᵢeᵢ. Теорема о приведении к главным осям (П10): CᵀAC = Λ, где столбцы ортогональной C — векторы eᵢ. Если одно λ отрицательно, эллипс «выворачивается» через ноль; если λ = 0, он схлопывается в отрезок — матрица вырождена.

Корни из матрицы: Холецкий и симметричный

A = [4,0; 2,0 | 2,0; 3,0]
U = [2,000; 1,000 | 0,000; 1,414] (u₁₁ = √a₁₁, u₁₂ = a₁₂/u₁₁, u₂₂ = √(a₂₂ − u₁₂²))
UᵀU = [4,000; 2,000 | 2,000; 3,000]
A^(1/2) = [1,919; 0,562 | 0,562; 1,638]; A^(1/2)·A^(1/2) = [4,000; 2,000 | 2,000; 3,000]
tr U = 3,414 ≤ tr A^(1/2) = 3,558 (у симметричного корня след наибольший)

Для положительно определённой A два «квадратных корня»: верхнетреугольная U с UᵀU = A (метод Холецкого — квадратных корней, формулы в П10) и симметричная A^(1/2) = CΛ^(1/2)Cᵀ. Любая X = CU с ортогональной C тоже даёт XᵀX = A, но симметричная среди них одна. Холецкий нужен, чтобы получать нормальные векторы с заданной ковариацией: ξ = μ + Uᵀζ (так устроен датчик в виджете «Эллипсы N(μ, Σ)»).

Обобщённая задача на собственные значения

A = [4,0; 2,0 | 2,0; 3,0], B = [2,0; 0,5 | 0,5; 1,0]
λ₁ = 3,094, λ₂ = 1,478; Σλ = 4,571
D = [0,182; 0,734 | 0,879; −0,608]
DᵀAD = [3,094; 0,000 | 0,000; 1,478]
DᵀBD = [1,000; 0,000 | 0,000; 1,000]

Обобщённая проблема собственных значений (П10): для неотрицательно определённой A и положительно определённой B найдётся D с DᵀAD = Λ и DᵀBD = E — одна замена координат одновременно делает B единичной, а A диагональной. Строится как D = B^(−1/2)C, где C приводит S = B^(−1/2)AB^(−1/2) к главным осям. λᵢ — корни det(A − λB) = 0, и tr(AB⁻¹) = Σλᵢ. Это ядро дискриминантного анализа (гл. 19) и критерия Уилкса.

StatTables (приложение, таблицы)

Таблица 1. Случайные числа

1100973253376520135863467354876
2375420480564894742962480524037
3084226895319645093032320902560
4990190252909376707153831131165
5128079997080157361476403236653
6660657471734072768503669736170
7310601080545571824063530342614
8852697760202051656926866574818
9635733213505325470489055357548
10737964575303529647783580834282
11985201776714905686072210940558
12118050543139808277325072568248
13834529963406288980831374670078
14886854020086507584013676667951
15995946734887517649699182608928
16654811767417468509505804776974
17801243563517727080154531822374
18743509981777402772144323600210
19699162680366252291483693687203
20098932050514225685144642756788
−1,75−0,33−1,260,321,530,35−0,96−0,060,42−1,08
−0,290,091,70−1,09−0,44−0,290,25−0,54−1,380,32
−0,930,130,630,901,41−0,88−0,100,230,130,37
−0,45−0,240,071,031,73−0,06−1,49−0,08−2,36−0,99
0,51−0,880,49−1,30−0,270,76−0,360,19−1,080,53

T1: фрагменты таблиц случайных чисел — равномерно распределённые двузначные числа 00–99 и нормально распределённые N(0, 1) с двумя знаками. По ним в книге моделируются выборки (например, в примере 2 гл. 24 разбиение на подгруппы начинается с чисел 10, 09, 73, 25 первой строки и 37, 54 второй). Кнопка «Новая таблица» заполняет ту же сетку датчиком createRng — так делают сейчас вместо печатных таблиц (гл. 2).

Таблица 2. Хвост нормального закона

1 − Φ(1,96) = 0,0250; двусторонний 0,0500
x0,000,010,020,030,040,050,060,070,080,09
0,00,5000,4960,4920,4880,4840,4800,4760,4720,4680,464
0,10,4600,4560,4520,4480,4440,4400,4360,4330,4290,425
0,20,4210,4170,4130,4090,4050,4010,3970,3940,3900,386
0,30,3820,3780,3740,3710,3670,3630,3590,3560,3520,348
0,40,3450,3410,3370,3340,3300,3260,3230,3190,3160,312
0,50,3090,3050,3020,2980,2950,2910,2880,2840,2810,278
0,60,2740,2710,2680,2640,2610,2580,2550,2510,2480,245
0,70,2420,2390,2360,2330,2300,2270,2240,2210,2180,215
0,80,2120,2090,2060,2030,2000,1980,1950,1920,1890,187
0,90,1840,1810,1790,1760,1740,1710,1690,1660,1640,161
1,00,1590,1560,1540,1520,1490,1470,1450,1420,1400,138
1,10,1360,1330,1310,1290,1270,1250,1230,1210,1190,117
1,20,1150,1130,1110,1090,1070,1060,1040,1020,1000,099
1,30,0970,0950,0930,0920,0900,0890,0870,0850,0840,082
1,40,0810,0790,0780,0760,0750,0740,0720,0710,0690,068
1,50,0670,0660,0640,0630,0620,0610,0590,0580,0570,056
1,60,0550,0540,0530,0520,0510,0490,0480,0470,0460,046
1,70,0450,0440,0430,0420,0410,0400,0390,0380,0380,037
1,80,0360,0350,0340,0340,0330,0320,0310,0310,0300,029
1,90,0290,0280,0270,0270,0260,0260,0250,0240,0240,023
2,00,0230,0220,0220,0210,0210,0200,0200,0190,0190,018
2,10,0180,0170,0170,0170,0160,0160,0150,0150,0150,014
2,20,0140,0140,0130,0130,0130,0120,0120,0120,0110,011
2,30,0110,0100,0100,0100,0100,0090,0090,0090,0090,008
2,40,0080,0080,0080,0080,0070,0070,0070,0070,0070,006
2,50,0060,0060,0060,0060,0060,0050,0050,0050,0050,005
2,60,0050,0050,0040,0040,0040,0040,0040,0040,0040,004
2,70,0030,0030,0030,0030,0030,0030,0030,0030,0030,003
2,80,0030,0020,0020,0020,0020,0020,0020,0020,0020,002
2,90,0020,0020,0020,0020,0020,0020,0020,0010,0010,001
3,00,0010,0010,0010,0010,0010,0010,0010,0010,0010,001

T2: y = 1 − Φ(x) — вероятность верхнего «хвоста» стандартного нормального закона. Строка — целые и десятые x, столбец — сотые. Двусторонний уровень вдвое больше: P(|Z| ≥ x) = 2(1 − Φ(x)). Обратная задача — квантиль x_p = Φ⁻¹(p): x₀,₉₅ = 1,645, x₀,₉₇₅ = 1,960, x₀,₉₉₅ = 2,576. Ползунок даёт хвост для любого x, в том числе далеко за краем книжной таблицы.

Таблица 3. Квантили χ² с k степенями свободы

уровень p:
k = 10, p = 0,950: y_p = 18,307
k0,9000,9500,9750,9900,9950,999
12,713,845,026,637,8810,83
24,615,997,389,2110,6013,82
36,257,819,3511,3412,8416,27
47,789,4911,1413,2814,8618,47
59,2411,0712,8315,0916,7520,52
610,6412,5914,4516,8118,5522,46
712,0214,0716,0118,4820,2824,32
813,3615,5117,5320,0921,9526,12
914,6816,9219,0221,6723,5927,88
1015,9918,3120,4823,2125,1929,59
1218,5521,0323,3426,2228,3032,91
1522,3125,0027,4930,5832,8037,70
2028,4131,4134,1737,5740,0045,31
2534,3837,6540,6544,3146,9352,62
3040,2643,7746,9850,8953,6759,70
4051,855,859,363,766,873,4
6074,479,183,388,492,099,6
120140,2146,6152,2159,0163,6173,6

p-квантиль y_p: P(ξ ≤ y_p) = p. При больших k удобно приближение Уилсона — Хилферти: y_p ≈ k(1 − 2/(9k) + x_p√(2/(9k)))³. В отличие от книжной таблицы, здесь годятся любые p и k: квантиль считается обращением функции распределения.

Таблица 4. Квантили распределения Стьюдента

уровень p:
k = 10, p = 0,950: y_p = 1,812
k0,9000,9500,9750,9900,9950,999
13,086,3112,7131,8263,66318,31
21,892,924,306,969,9222,33
31,642,353,184,545,8410,21
41,532,132,783,754,607,17
51,482,022,573,364,035,89
61,441,942,453,143,715,21
71,411,892,363,003,504,79
81,401,862,312,903,364,50
91,381,832,262,823,254,30
101,371,812,232,763,174,14
121,361,782,182,683,053,93
151,341,752,132,602,953,73
201,331,722,092,532,853,55
251,321,712,062,492,793,45
301,311,702,042,462,753,39
401,301,682,022,422,703,31
601,301,672,002,392,663,23
1201,291,661,982,362,623,16

p-квантиль y_p: P(ξ ≤ y_p) = p. Распределение Стьюдента симметрично: y₁₋ₚ = −y_p; двусторонний интервал уровня 0,95 берёт y₀,₉₇₅. При k → ∞ квантили стремятся к нормальным (1,645; 1,960; 2,326; 2,576). В отличие от книжной таблицы, здесь годятся любые p и k: квантиль считается обращением функции распределения.

Таблица 5. Квантили распределения Фишера — Снедекора

уровень p:
k₁ = 10, k₂ = 20, p = 0,950: y_p = 2,348
k₁0,9000,9500,9750,9900,9950,999
12,974,355,878,109,9414,82
22,593,494,465,856,999,95
32,383,103,864,945,828,10
42,252,873,514,435,177,10
52,162,713,294,104,766,46
62,092,603,133,874,476,02
72,042,513,013,704,265,69
82,002,452,913,564,095,44
91,962,392,843,463,965,24
101,942,352,773,373,855,08
121,892,282,683,233,684,82
151,842,202,573,093,504,56
201,792,122,462,943,324,29
251,762,072,402,843,204,12
301,742,042,352,783,124,00
401,711,992,292,693,023,86
601,681,952,222,612,923,70
1201,641,902,162,522,813,54

p-квантиль y_p: P(ξ ≤ y_p) = p. Нижние квантили — из соотношения v₁₋ₚ(k₁, k₂) = 1/v_p(k₂, k₁) (как в книге). Таблица снизу — для текущего k₂. В отличие от книжной таблицы, здесь годятся любые p и k: квантиль считается обращением функции распределения.

Таблица 7. Критические значения коэффициента Спирмена

p0,1000,0500,0250,0100,0050,001
книга, k = 80,5240,6430,7380,8330,8810,952
перебор0,5240,6430,7380,8330,8810,952

T7: односторонние критические значения r_p коэффициента Спирмена: P(ρ_S ≥ r_p) = p при независимости, k — размер выборки. Двусторонний уровень — 2p (закон ρ_S симметричен). Пустая клетка — уровень недостижим при таком k. Для k ≤ 9 снизу — проверка точным перебором всех k! перестановок (функция из гл. 20): совпадает с книгой, только в двух клетках книга пустая, хотя уровень достижим — при k = 4, p = 0,05 и при k = 5, p = 0,01 (P(ρ_S = 1) = 1/24 ≈ 0,042 и 1/120 ≈ 0,008); они выделены цветом. В тексте §7 гл. 20 эта таблица названа T6 — в книге она под номером 7, а таблицы 6 нет.

Ниже — тестовый исполняемый блок Python (Pyodide в браузере). Нажми Run: при первом запуске подтянется среда, затем выполнится код.

Загрузка редактора…
Обновлено