Песочница (dev)
Служебная страница: сюда кладём новые виджеты, пока они не встроены в главы.
Раздел content/dev/ и пункт в _meta.global.tsx можно удалить одним движением перед продом.
Solution
Условие видно сразу. Разбор открывается кнопкой. Звёздочка у заголовка — задача сложнее.
Задача 1⭐
Честная монета, p=1/2. Чему равна вероятность успеха P(ζ=1)?
Подсказка в условии: это параметр распределения Бернулли, а не «половина от чего-то ещё».
HypothesisTest
Две гипотезы, порог, области α / β и мощность. Двигай сдвиг H₁ и порог c.
Проверка гипотез: α, β и мощность
Отклоняем H₀ при T > c. α — хвост H₀ справа от порога, β — часть H₁ слева.
PointCloud3D
Единичный куб, облако точек и регулируемая коробка. Доля ≈ объём. Вращай мышью, жми «Перебросить».
Облако точек в единичном кубе
Независимые U[0,1] по осям: доля точек в коробке ≈ объём = Δx·Δy·Δz. Вращай куб мышью.
LCGExplorer (гл. 2 §3)
Линейный конгруэнтный датчик: решётка пар (yₙ, yₙ₊₁)
a = 137, c = 187, m = 256. Грубый модуль — пары сразу садятся на несколько прямых.Параметры: a = 137, c = 187, m = 256, k₀ = 7. Период: 256. Первые yₙ: 0.027, 0.477, 0.020, 0.406, 0.387, 0.711…
LatticeCube3D — тройки в кубе (гл. 2 §3, RANDU)
Тройки случайных чисел в кубе: решётка датчика
a = 65539, m = 2³¹. В 2D выглядит прилично — его провал видно только в 3D (тройки лягут на 15 плоскостей).Берём подряд тройки (y₃ₖ, y₃ₖ₊₁, y₃ₖ₊₂) и кидаем точками в единичный куб. Крути куб мышью: у RANDU поймаешь ракурс, где точки собираются в несколько плоскостей; у хорошего датчика они заполняют куб ровно.
NeudachiSimulation (гл. 2 §5)
Эксперимент «Неудачи»: куда сходится среднее
Бегущее среднее числа опросов N по мере накопления опытов.Округление до 2 знаков обрывает ряд: среднее садится около теории 2·ln10 + γ ≈ 5.18.
EulerMethodDemo (гл. 2 §6)
Метод Эйлера: как компьютер перепрыгивает кривую
Зелёная дуга — истинное решение (полуокружность). Красная ломаная — метод Эйлера с шагом h.Уменьшай шаг — ломаная держится точнее. Но у линии y = 0 правая часть −x/y рвётся: наклон взлетает, и метод «перепрыгивает» вниз, на чужую кривую. Разрыв шагом не победить.
MonteCarloIntegral (гл. 3 §1)
Монте-Карло: интеграл как среднее по случайным точкам
Площадь четверти круга, умноженная на 4, даёт π ≈ 3,1416. Жребием считаем число π.Оценка Î_n = среднее φ в случайных точках. Точное значение: 3.1416. Сейчас: 3.1594 (ошибка 0.0178).
ThreeSigmaRule (гл. 3 §2)
Правило трёх сигм: 68 — 95 — 99,7 %
Нормальная плотность N(0,1). Закрашена область [−3σ, +3σ].Вероятность попасть в неё: P(|Z| ≤ 3) = 99.7 %. Правило трёх сигм: почти вся масса (99,7 %) лежит в ±3σ.
MonteCarloPi2D (гл. 3 §3)
Монте-Карло: объём области через долю попаданий
Кидаем точки в единичный квадрат. Красные — под дугой (x²+y² ≤ 1), серые — снаружи.Доля под дугой ≈ площадь четверти круга = π/4. Умножаем на 4: оценка π = 3.1307 (точное 3,1416).
BallInCube (гл. 3 §4)
Шар в k-мерном кубе: доля объёма тает с размерностью
Доля объёма шара в k-мерном кубе. Красный столбик — выбранная размерность k = 3.При k = 3: точное p = 52.36 %, Монте-Карло оценка = 51.06 %. С ростом k шар почти «испаряется» — объём уходит в углы куба.
WeylSequence (гл. 3 §5)
Равномерность по Вейлю: как {n·α} заполняет отрезок
Гистограмма дробных частей {n·α} по 10 ячейкам отрезка [0,1]. Ровная линия = равномерность по Вейлю (каждая ячейка ≈ 0,1).α = √2 иррационально: столбики выравниваются — последовательность заполняет отрезок равномерно.
BenfordBars (гл. 3 §6)
Закон Бенфорда: частота первой цифры
Частоты первой цифры (столбики) против закона Бенфорда pₘ = log₁₀(1 + 1/m) (линия).Степени двойки и факториалы точно садятся на закон Бенфорда: единица — 30,1 %, семёрка — всего 5,8 %, а не 1/9.
InverseTransform (гл. 4 §1)
Метод обратной функции: равномерное → любое
Верхний график: функция распределения F. Берём равномерное y = 0.70 на вертикали, идём вправо до кривой и опускаемся вниз: x = F⁻¹(y) = 1.204.Нижний: гистограмма n таких x против теоретической плотности — совпадают. За край картинки улетело 0.6 % точек — у этого закона тяжёлые хвосты.
ExtremeValues (гл. 4 §2)
Экстремальные значения: куда сходится максимум
Источник: показательное Exp(1). 3000 раз берём максимум из n чисел и нормируем: X₍ₙ₎ − ln n.Столбики — что вышло, линия — предельный закон. Уже при небольших n они садятся друг на друга.
NeumannExponential (гл. 4 §3)
Датчик фон Неймана: показательный закон без логарифмов
Гистограмма чисел из датчика фон Неймана против плотности e⁻ˣ. Среднее: 0.996 (теория 1).Логарифмов потрачено: 0. Равномерных чисел на одно показательное: 4.30 (теория ≈ 4,30).
FastExponential (гл. 4 §4)
Быстрый показательный датчик: один логарифм на n чисел
6000 чисел по теореме 2 против плотности λe^(−λx). При n = 1 это обычный метод обратной функции.Цена одного показательного числа: логарифмов 0.33, равномерных 1.67, плюс сортировка 2 чисел на каждые 3.
NormalGenerators (гл. 4 §5)
Нормальные числа: три способа
Гистограмма датчика против плотности N(0,1). При n = 1 это просто равномерное, при n = 2 — треугольник, к n = 12 почти колокол.За ±3 вышло 0.22 % (у нормального 0,27 %). Самое большое |x| = 4.03, а выше √(3n) = 6.00 эта сумма не прыгнет никогда.
BestChoice (гл. 4 §6)
Наилучший выбор: скольких пропустить
Кривая — шанс выбрать самого лучшего при каждом m. Красная линия — твоё m = 7: шанс 38.4 % по формуле, 38.5 % в 4000 симуляциях.Оптимум (синяя): m* = 7, шанс 38.4 %. Для сравнения n/e = 7.4, а предел шанса 1/e ≈ 36,8 %.
DiscreteSampler (гл. 5 §1)
Дискретные датчики: частоты против теории
Датчик: считаем успехи в n испытаниях Бернулли. Столбики — частоты по 20000 числам, точки — теоретические вероятности.Среднее по выборке 5.998, теория 6.000.
OrderStatistics (гл. 5 §2)
Порядковые статистики: k-я из n — это бета
Берём 10 равномерных чисел, сортируем и смотрим 3-я по величине. Так 8000 раз.Линия — бета-плотность B(3, 8). Её центр около k/(n+1) = 0.273.
BernsteinApprox (гл. 5 §2)
Многочлены Бернштейна: приближаем любую непрерывную функцию
Непрерывная функция с изломом в середине. Многочлены подползают к ней со всех сторон.Наибольшее отклонение многочлена от функции: 0.492. Увеличивай n и смотри, как оно тает.
RejectionSampling (гл. 5 §3)
Метод Неймана: оставляем только то, что под графиком
Верхний график: броски в прямоугольник высотой C = 2.46. Красные легли под график и приняты, серые выброшены. Нижний: гистограмма принятых против плотности.Доля принятых 40.2 % (теория 1/(C·(b−a)) = 40.7 %). В среднем 2.46 броска на одно число — поднимешь C, будет больше отходов.
MatchingGame (гл. 5 §4)
Один или два пальца: игра, которая только кажется честной
Платежи тебе: (1,1) +2, (1,2) −3, (2,1) −3, (2,2) +4. Средний выигрыш за партию Z = 12p₁p₂ − 7p₁ − 7p₂ + 4 = -0.083.Сплошная линия — твой счёт по ходу игры, пунктир — ожидаемый Z·n. После 3000 партий: -191. При p₂ = 7/12 Z = −1/12 при любом p₁ — сколько ни крути свою стратегию.
GuessTheta (гл. 6 §1)
Угадай θ: где правый край отрезка?
| Кто | Значение | Промах |θ̂ − θ| |
|---|---|---|
| Ты | 50.0 | ? |
| θ̂₁ = max | ? | ? |
| θ̂₂ = 2·X̄ | ? | ? |
| θ̂₃ = (n+1)/n·max | ? | ? |
| Истинное θ | ? | — |
Кто-то загадал θ от 10 до 90 и кинул 10 точек равномерно на [0, θ]. Видны только точки. Поставь свою догадку и вскрой, а потом сравни с формулами.Счёт: раундов 0, ты ближе θ̂₃ в 0.
EstimatorComparison (гл. 6 §2–3)
Сравнение оценок θ на равномерной выборке
| Оценка | Среднее | Смещение (теория) | Ст. откл. | M(θ̂ − θ)² (теория) |
|---|---|---|---|---|
| θ̂₁ = max | 0.911 | -0.089 (-0.091) | 0.081 | 0.0146 (0.0152) |
| θ̂₂ = 2·X̄ | 0.999 | -0.001 (0.000) | 0.183 | 0.0333 (0.0333) |
| θ̂₃ = (n+1)/n·max | 1.002 | 0.002 (0.000) | 0.089 | 0.0080 (0.0083) |
4000 раз берём выборку из 10 точек на [0, θ], θ = 1, и считаем по ней каждую оценку. Кривые показывают, как разбросаны значения оценок, зелёная вертикаль — истинное θ.Несмещённая оценка — горб, центр тяжести которого стоит на θ. Точная — горб узкий. Двигай n и смотри, кто сужается, а кто нет.
RiskFunctions (гл. 6 §3–4)
Функции риска: частота против Ходжеса — Лемана
Синяя — риск частоты X̄, красная — риск оценки Ходжеса — Лемана θ̃. Пунктиры — максимумы кривых. Ходжес — Леман точнее на 66 % значений θ.Минимакс (худший случай): X̄ — 0.0278, θ̃ — 0.0156, выигрывает θ̃. Байес (среднее по равномерному θ): X̄ — 0.0184, θ̃ — 0.0156, выигрывает θ̃.
CloserGame (гл. 6 §4)
Кто ближе к θ: Ходжес — Леман или частота?
Верхний график — p(θ): шанс, что θ̃ окажется строго ближе к θ, чем частота X̄. Он скачет вокруг ½, а в среднем по θ равен 0.507.Нижний — эксперимент: θ₀ каждый раз берётся наугад из [0, 1]. Из 5000 раз θ̃ ближе в 2541, X̄ ближе в 2459, ничьих 0. Доля побед θ̃ — 50.8 %.
CauchyBeam (гл. 7 §1)
Распределение Коши: луч из точки и среднее, которое не сходится
Сверху — первые 40 лучей из источника над нулём: угол равномерный, точка на оси — величина Коши. Лучи, ушедшие почти горизонтально, улетают за кадр. Из 2000 точек дальше 10 от центра — 125, самая дальняя — на 1029.Снизу — бегущее среднее X̄ и бегущая медиана по первым m точкам. После 2000: X̄ = -0.07, MED = 0.038. Среднее дёргается от каждого выброса и не сходится, медиана садится на 0.
QuantileLab (гл. 7 §2–4)
Выборочная медиана против среднего
| Оценка | Дисперсия √n·(оценка − цель), опыт | Асимптотическая дисперсия, теория |
|---|---|---|
| MED | 1.525 | 1.571 |
| X̄ | 0.992 | 1.000 |
Закон: N(0, 1). 3000 выборок по n = 51. Столбики — √n·(MED − x_α) и √n·(X̄ − центр), линии — нормальные плотности из теоремы и ЦПТ.Относительная эффективность e(MED, X̄) = σ²(X̄)/σ²(MED): теория 0.637, опыт 0.650.
QuantileLab (гл. 7 §2–4, alphaControl, без среднего)
Выборочная медиана против среднего
| Оценка | Дисперсия √n·(оценка − цель), опыт | Асимптотическая дисперсия, теория |
|---|---|---|
| MED | 1.525 | 1.571 |
Закон: N(0, 1). 3000 выборок по n = 51. Столбики — √n·(MED − x_α) и, линии — нормальные плотности из теоремы.Относительная эффективность e(MED, X̄) = σ²(X̄)/σ²(MED): теория 0.637, опыт 0.650.
StableSums (гл. 7 §5)
Устойчивые законы: сумма снова такая же
4000 раз складываем n = 50 независимых копий и делим сумму на n. Линия — закон одного слагаемого.Устойчивость: при любом n гистограмма ложится на ту же кривую. Поставь n = 1 и n = 200 — разницы нет. За кадром 8 % (хвосты).
TrimmedMeanCurve (гл. 8 §2)
Усечённое среднее: сколько отрезать?
Закон: N(0, 1). Линия — асимптотическая дисперсия σ²_α усечённого среднего по теореме 1; слева (α = 0) — X̄, справа (α = ½) — медиана. Точки — n·D(X̄_α) по 1500 выборкам объёма 100.Лучшее α ≈ 0.000, σ² = 1.000. При α = 1/8: σ² = 1.080, эффективность к X̄ = 0.926, к медиане = 1.455.
OutlierDuel (гл. 8 §3–4)
Средние против выбросов
| Оценка | Значение | Состояние |
|---|---|---|
| X̄ | 3.000 | унесло за выбросами |
| X̄₁/₈ | 0.124 | держится |
| MED | 0.295 | держится |
| W (Уолш) | 0.183 | держится |
20 нормальных точек с центром 0, из них 2 заменены на 30. Столбики — значения оценок, обрезка на ±5: если оценка ушла дальше, её «унесло».Двигай значение выброса вверх: сломанная оценка поедет за ним, устойчивая останется около нуля. X̄ ломается от одного выброса, X̄₁/₈ — от трёх, W — от шести (около 29 %), MED — только от десяти, то есть от половины.
OutlierDuel (гл. 8 §3–4, efficiency)
Средние против выбросов
| Оценка | σ², теория | n·D, опыт | e к X̄ |
|---|---|---|---|
| X̄ | 1.000 | 1.029 | 1.000 |
| X̄₁/₈ | 1.080 | 1.103 | 0.926 |
| MED | 1.571 | 1.593 | 0.637 |
| W (Уолш) | 1.047 | 1.093 | 0.955 |
Закон: N(0, 1). Столбики — эффективность относительно лучшей из четырёх оценок по теории (1 — лучшая).В таблице асимптотические дисперсии по теоремам и n·D по 600 выборкам объёма 40. У Уолша на всех законах эффективность не ниже 0,864 относительно X̄ (теорема 4).
ProbabilityPaper (гл. 9 §1)
Вероятностная бумага: распрямляем график
10 чисел из примера 1: нормальная выборка с μ = 1, σ = 2. Верхний график — нормальная вероятностная бумага: по оси y отложено Φ⁻¹((i − ½)/n). Если закон нормальный, точки лежат около прямой.По прямой: μ̂ = 1.12 (где прямая пересекает y = 0), σ̂ = 2.23 (наклон); корреляция r = 0.968. Для сравнения X̄ = 1.12, S = 2.16. Нижний — эмпирическая функция распределения против истинной.
LikelihoodExplorer (гл. 9 §4)
Функция правдоподобия: какое θ самое правдоподобное
Модель: X_i ∈ {0, 1}, P(X_i = 1) = θ. Кривая — правдоподобие при этих данных как функция θ. Успехов s = 5 из 10. Зелёная вертикаль — истинное θ = 0.30, красная — ОМП θ̃ = 0.500.Информация Фишера одного наблюдения I₁ = 4.762, граница Рао — Крамера даёт разброс порядка 1/√(nI₁) ≈ 0.145.
NewtonCauchy (гл. 9 §5)
Метод Ньютона: касательные к уравнению правдоподобия
| Шаг k | θ_k | φ(θ_k) |
|---|---|---|
| 0 | -1.40000000 | 2.393e-1 |
| 1 | -1.31080250 | 1.429e-2 |
| 2 | -1.30471919 | 7.773e-5 |
| 3 | -1.30468573 | 2.370e-9 |
| 4 | -1.30468572 | 3.331e-16 |
Синяя кривая — левая часть уравнения правдоподобия φ(θ) = Σ 2(x_i − θ)/(1 + (x_i − θ)²) для выборки Коши из 5 точек (оранжевые на оси). Корней на окне: 1. Пунктиры — касательные: каждая доводит до следующего приближения.После 4 шагов θ = -1.304686, φ = 3.33e-16. Около простого корня число верных знаков на каждом шаге примерно удваивается. Начни далеко от корня — касательные разбросает (осцилляции).
SufficiencyDemo (гл. 10 §1)
Достаточная статистика: что остаётся после того, как знаешь T
60000 выборок Бернулли объёма 5 при θ₁ и столько же при θ₂. Оставляем только те, где ровно 2 единиц, и смотрим, как часто встречается каждое расположение. Пунктир — 1/C(n, t) = 0.1000.Этап 1 зависит от θ: P(T = 2) равна 0.205 при θ₁ и 0.132 при θ₂ (попаданий 12212 и 7894). Этап 2 — нет: при обоих θ все расположения равновероятны. Всё, что выборка знает про θ, сидит в T.
RaoBlackwell (гл. 10 §4)
Колмогоров — Блекуэлл — Рао: усредни по T и стань точнее
| Оценка | Среднее (θ = 0.3) | Дисперсия, опыт | Дисперсия, теория |
|---|---|---|---|
| θ̂ = X₁ | 0.298 | 0.2093 | 0.2100 |
| M(X₁ | ΣXᵢ) = X̄ | 0.305 | 0.0209 | 0.0210 |
5000 выборок объёма 10. Синие столбики — исходная несмещённая оценка θ̂ = X₁, красные — она же после усреднения по достаточной статистике: M(X₁ | ΣXᵢ) = X̄. Обе несмещённые, но вторая собрана в узкий горб.Оценка по одному наблюдению после усреднения становится частотой — дисперсия падает в n раз.
BallsInBoxes (гл. 10 §5)
Шарики в ящиках: сколько ящиков пустует
20 различимых шариков по 10 ящикам. Столбики — вероятность ровно k пустых ящиков: формула и опыт (20000 размещений). Линия — Пуассон с λ = N·e^(−n/N) = 1.353.Ни одного пустого: 0.2147. Для различимых пустые ящики исчезают при n ≈ N ln N. Переключи тип шариков при тех же n и N.
BallsInBoxes (гл. 10 §5, matches)
Задача о совпадениях
Две одинаковые колоды из 10 карт, одну перетасовали. Столбики — вероятность ровно k совпадений: точная формула и опыт (20000 раскладов). Линия — Пуассон с λ = 1.Хотя бы одно совпадение: 1 − P(B₀) = 0.6321; при N → ∞ это 1 − e⁻¹ ≈ 0,632 — почти не зависит от N уже с N = 5.
ConfidenceIntervals (гл. 11 §1–2, expshift)
Доверительные интервалы: сколько из них накроют истину
60 интервалов для параметра «сдвиг θ» по 60 независимым выборкам объёма 10. Синие накрыли истинное значение (зелёная вертикаль), красные — промахнулись: 1 из 60.По 4000 выборкам доля накрытий 94.6 % при заявленных 95 %. Средняя длина интервала 0.300.
ConfidenceIntervals (гл. 11 §1–2, t)
Доверительные интервалы: сколько из них накроют истину
60 интервалов для параметра «сдвиг θ₁» по 60 независимым выборкам объёма 10. Синие накрыли истинное значение (зелёная вертикаль), красные — промахнулись: 3 из 60.По 4000 выборкам доля накрытий 94.6 % при заявленных 95 %. Средняя длина интервала 1.390.
StudentChiDensities (гл. 11 §2)
Законы Стьюдента и хи-квадрат
Сверху — плотность Стьюдента t_k (красная) против N(0, 1) (синяя). При k = 1 это закон Коши, с ростом k хвосты худеют, и t_k приближается к нормальному. Квантиль 0,975: у t_k 3.182, у N(0, 1) 1,960.Снизу — плотность χ²_k. Среднее k, максимум в точке k − 2 = 1 (при k ≥ 2), правый хвост тяжелее левого. Квантили 0,025 и 0,975: 0.22 и 9.35.
BernoulliCI (гл. 11 §3)
Интервалы для вероятности успеха: кто честно держит 95 %
| Метод | Интервал при k = 3, n = 30 (x̄ = 0.100) | Длина |
|---|---|---|
| Точный (метод 2) | (0.0211; 0.2653) | 0.2442 |
| Арксинус (метод 3) | (0.0203; 0.2304) | 0.2102 |
| Подстановка (метод 4) | (-0.0074; 0.2074) | 0.2147 |
Точная вероятность того, что интервал накроет истинное θ, как функция θ (n = 30). Пунктир — заявленный уровень 0.95. «Пила» — из-за дискретности: число успехов принимает только значения 0, 1, …, n.Точный (метод 2): среднее покрытие 97.4 %, минимум 95.4 %; Арксинус (метод 3): среднее покрытие 93.1 %, минимум 63.7 %; Подстановка (метод 4): среднее покрытие 87.9 %, минимум 14.0 %. Точный интервал никогда не опускается ниже уровня, подстановка у краев проваливается.
CoinTest (гл. 12 §1)
Статистический критерий: честная ли монетка
Столбики — закон числа гербов T при честной монетке (H: θ = ½). Красные — критическая область T ≥ 9: туда T попадает с вероятностью не больше α = 0.05. Обведённый столбик — наблюдение t₀ = 8.Фактический уровень значимости α₀ = P(T ≥ 8) = 0.0547. Не попали — гипотезу принимаем (но это не доказательство честности).
UniformityTest (гл. 12 §2)
Проверка равномерности: Колмогоров и омега-квадрат
| Критерий | Статистика | Фактический уровень значимости |
|---|---|---|
| Колмогоров, √n·D_n | 0.728 | 0.6646 по K(x); 0.6145 моделированием |
| Крамер — Мизес, nω²(ψ₁) | 0.070 | 0.7390 |
| Андерсон — Дарлинг, nω²(ψ₂) | 0.440 | 0.7955 |
Синяя лесенка — эмпирическая функция распределения, диагональ — y = x (гипотеза равномерности). Красная вертикаль — где отклонение наибольшее: D_n = 0.1329, √n·D_n = 0.728.Фактический уровень значимости — шанс получить такое же или большее отклонение при верной гипотезе. Если он мал (меньше 0,05), равномерность отвергаем.
NormalityTests (гл. 12 §4)
Проверка нормальности: пять критериев на одной выборке
| Критерий | Статистика | Фактический уровень значимости |
|---|---|---|
| Колмогоров с подстановкой (Стефенс) | 0.524 | > 0,15 |
| Крамер — Мизес с подстановкой (Стефенс) | 0.063 | > 0,15 |
| Асимметрия G₁′/σ₁ (выборочная G₁ = -0.26) | -0.80 | 0.4209 |
| Эксцесс G₂′/σ₂ (выборочный G₂ = 0.50) | 1.04 | 0.2975 |
| Гири, (G₃ − MG₃)/√DG₃ | -0.77 | 0.4396 |
Выборка из выбранного закона (сдвинутого и растянутого — μ и σ неизвестны). Проверяем сложную гипотезу нормальности пятью способами. Оценки по выборке: X̄ = 3.125, S = 1.661.Для статистик Стефенса уровень — по таблице Лагутина (диапазон), для моментов — по нормальному приближению. Малое значение (меньше 0,05) — нормальность отвергаем. При n около 20 почти всё «нормально», при n = 500 ловится почти всё, кроме самого нормального закона.
EntropyDemo (гл. 12 §5)
Энтропия: сколько бит нужно на символ
| Исход | A1 | A2 | A3 | A4 | A5 | A6 | A7 | A8 |
|---|---|---|---|---|---|---|---|---|
| Длина кода | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 7 |
Столбики — вероятности исходов p_i ∝ e^(−t·i). Энтропия H = −Σ p_i log₂ p_i = 2.323 бит, максимум log₂ N = 3.000 — при t = 0, когда все исходы равновероятны.Код Хаффмана: частым исходам — короткие слова, редким — длинные. Средняя длина 2.380 двоичных знаков на символ; она не меньше H и меньше H + 1. Равномерный код тратил бы ⌈log₂ N⌉ = 3.
LikelihoodRatioSet (гл. 13 §2)
Лемма Неймана — Пирсона для закона Коши
Сверху — отношение правдоподобия r(x) = (1 + x²)/(1 + (x − 1)²) и уровень c_α = 2.527. Закрашено оптимальное критическое множество G* = {x : r(x) ≥ c_α} — отрезок: [1,365; 1,944].Снизу — плотности Коши при H₀ (θ = 0, синяя) и H₁ (θ = 1, красная). Пунктир — граница t = 6.31 «наивного» критерия «отвергаем, если x ≥ t» того же уровня.Мощность Неймана — Пирсона: 0.129, наивного критерия: 0.059.
WaldSequential (гл. 13 §3)
Последовательный критерий Вальда
20 блужданий S_k = Z₁ + … + Z_k, где Z_i = ln[p₁(X_i)/p₀(X_i)]. Границы c₀ = -2.94 и c₁ = 2.94. Красные траектории вышли вверх (принята H₁), синие — вниз (принята H₀).По 4000 опытам: доля ошибочных решений 0.025 (заказывали 0.05); среднее число наблюдений 6.9, приближение Вальда (15) — 5.3.Критерию Неймана — Пирсона с теми же α и β нужно n* = 11 наблюдений всегда. Вальд в среднем тратит 62 % от этого.
GamblersRuin (гл. 13 §4)
Разорение игрока
12 игр: капитал первого игрока после каждой партии. Красные кончились разорением (капитал 0), синие — выигрышем всех M = 20.Вероятность разорения r_k = 0.5000 (по 3000 играм — 0.5090). Средняя длительность игры l_k = 100.0 (по моделированию — 99.6).Нижний график — точная функция распределения длительности P(ν ≤ m). Медиана — 76 партий.
OptimalStopping (гл. 13 §5)
Оптимальная остановка блуждания
Столбики — призы. Красные — точки, где стратегия Наилучшая велит остановиться. Сплошная линия — средний выигрыш из каждой точки старта при этой стратегии, пунктир — «резинка» (вогнутая мажоранта), выше которой не прыгнуть.Средний выигрыш при случайном старте: «Никогда» — 0,000; «Сразу» — 2,500; «Все или ничего» — 2,625; Наилучшая — 2,750. Среднее число шагов у выбранной: 0,625.
TwoSampleTest (гл. 14 §3–5)
Однородность двух выборок
X ~ N(0, 1), Y ~ N(0.5, 1). Синяя ступенька — F̂ₙ (выборка X), красная — Ĝₘ (выборка Y). D = 0.233 — наибольший вертикальный зазор между ними, D⁺ = 0.233 — наибольший зазор, где синяя выше.Фактические уровни значимости α₀: по предельному закону и по 1000 моделированиям при верной H₀ (для Уилкоксона — точно, по закону U). Оценка сдвига θ̂ = MED{Yⱼ − Xᵢ} = 0.295.Критерий Значение α₀ асимпт. α₀ моделир. Смирнов √(nm/(n+m))·D (против H₁) 0.904 0,388 0,396 Смирнов односторонний, D⁺ (против H₂) 0.904 0,195 0,200 Розенблатт Z* (против H₁) 0.167 — 0,362 Уилкоксон: V = 985, U = 520, U* (против H₂) 1.035 0,150 0,153 (точно)
RankSumDistribution (гл. 14 §5)
Закон суммы рангов Уилкоксона
Точный закон суммы рангов V = S₁ + … + Sₘ при верной H₀: все C(n+m, m) расстановок Y по n + m местам равновероятны. Линия — нормальное приближение с MU = nm/2 и DU = nm(n+m+1)/12. Красные столбики — хвост V ≥ 39.P(V ≥ 39) точно: 0.0628; по нормальному приближению (7): 0.0502. U* = 1.643, поправка Имана Ũ* = 1.734 против z₀,₀₅ = 1.739 — не отвергаем.
WilcoxonPower (гл. 14 §5)
Уилкоксон против Стьюдента
Мощность односторонних критериев уровня 0.05 против правого сдвига θ, по 600 парам выборок из закона Тьюки (1 − ε)·N(0, 1) + ε·N(0, 9). Красная — Уилкоксон (точный уровень 0.048 — закон U дискретный), синяя — Стьюдент.Асимптотическая эффективность Уилкоксона относительно Стьюдента E(F_ε) = 1.373 — Уилкоксону нужно меньше наблюдений.
ReflectionWalk (гл. 14 §6)
Принцип отражения
Синий — случайный путь из (0, 2) в (20, 4), коснувшийся оси в момент τ = 2. Красный пунктир — его участок до τ, отражённый относительно оси: теперь путь идёт из (0, −2) в (20, 4). Такое отражение — взаимно однозначное соответствие.Всего путей из (0, 2) в (20, 4): N = 167960. Касающихся оси: N_{n,a+b} = 77520. Положительных: 90440.
PairedTests (гл. 15 §2–3)
Парные наблюдения: знаки и знаковые ранги
Слева — упорядоченные приращения zᵢ = yᵢ − xᵢ (красные — положительные). Нулевых приращений 1 — их отбрасываем, n = 11. Справа — проверка симметрии: точки (ξᵢ, ηᵢ) = (MED − z₍ᵢ₎, z₍ₙ₊₁₋ᵢ₎ − MED) должны лежать возле прямой y = x.
Оценки сдвига: MED = 19, интервал по знакам (7; 35) с доверием 0,935; медиана средних Уолша W = 19,25, интервал (7) (7; 32) с доверием ≈ 0.9.Критерий против θ > 0 Статистика α₀ Знаков: S = 9 из 11 (точно по биному) S̃* = 1,809 0,033 (по S̃*: 0,035) Знаковых рангов: T = 61,5, MT = 33, DT = 126,25 t* = 2,536 0,006 (есть совпадения) Поправка Имана, уровень 0.05 t̃* = 3,145 z = 1,729: отвергаем
SignRankPower (гл. 15 §3)
Знаки, знаковые ранги и Стьюдент
Закон ошибок: Нормальный (N(0, 1)). Мощность односторонних критериев уровня 0.05 против сдвига θ по 800 повторениям. Точные уровни у дискретных критериев меньше α: знаков — 0.021, знаковых рангов — 0.049.Асимптотическая эффективность знаков относительно знаковых рангов e_MED,W = 0.667 — знаковые ранги экономнее.
SerialCorrelation (гл. 15 §4)
Сериальная корреляция ломает уровень значимости
Гипотеза H₀′: θ = 0 верна, но соседние приращения коррелированы. Кривые — истинный уровень значимости трёх критериев номинального уровня 0.05 при n → ∞ (формулы примера 3). Пунктир — выбранное ρ.При ρ = 0.40: среднее — 0,110 (моделирование 0,117), знаки — 0,091 (0,097), знаковые ранги — 0,108 (0,118); моделирование — 3000 выборок объёма 100.
RunsTest (гл. 15 §5)
Критерий серий
+++++++++++−−−−−++−−+++++−++n = 28, единиц m = 8, нулей l = 20, серий k = 7; μ = 12.429, σ² = 4.414. Столбики — точный условный закон числа серий при данном m (он не зависит от p), линия — нормальное приближение.Против H⁺ (слишком мало серий): t* = -2.346, α₀ ≈ 0,009, точно 0,011.
KruskalWallis (гл. 16 §2)
Критерий Краскела — Уоллиса и сравнения Данна
Точки — наблюдения по группам. Средние ранги R̄ⱼ: 1: 9,20; 2: 3,17; 3: 5,50; 4: 11,67; 5: 3,50.W = 8,39, с поправкой на совпадения W′ = 8,43; по χ²_4 α₀ ≈ 0,077. Поправка Имана — Давенпорта: W̃ = 12,51 против w̃₀,₀₅ = 12,01 — отвергаем H₀ на уровне 5 %.Пара (Данн, xₚ = 2,44) |R̄ᵣ − R̄ₛ| Cᵣₛ Δ̂ᵣₛ = Wᵣ − Wₛ 1 и 2 6,03 7,47 -1,28 1 и 3 3,70 8,55 -0,63 1 и 4 2,47 7,47 1,19 1 и 5 5,70 11,20 -1,16 2 и 3 2,33 9,33 0,65 2 и 4 — различаются 8,50 8,35 2,46 2 и 5 0,33 11,81 0,12 3 и 4 6,17 9,33 1,82 3 и 5 2,00 12,52 -0,53 4 и 5 8,17 11,81 -2,34
JonckheereTest (гл. 16 §3)
Критерий Джонкхиера: растёт ли эффект
Статистики Манна — Уитни: UAB = 22,00, UAC = 30,50, UBC = 26,50. J = 79,00, MJ = 54,00, DJ = 153,00, J* = 2,02.Фактический уровень значимости: Джонкхиер — 0,022 по нормальному приближению, 0,024 по 3000 перестановкам; Краскел — Уоллис для тех же данных — 0,116.Сравнение с контролем A (Данн, α = 0,05, D = 6,04): B: 2,00; C: 6,25 — лучше контроля. Контраст Δ̂CA = 4,17.
BartlettRobustness (гл. 16 §2)
Критерий Бартлетта боится хвостов
Гипотеза H′ (все дисперсии равны) верна, номинальный уровень критерия Бартлетта 0.05. Синие столбики — доля ложных отказов по 250 опытам для k групп по 30 наблюдений из закона «Стьюдент t₇» (эксцесс κ = 2). Красные — предел при больших выборках: B* ведёт себя как (1 + κ/2)·χ²ₖ₋₁, отсюда уровень P(χ²ₖ₋₁ ≥ χ²ₖ₋₁;₀,₉₅ / (1 + κ/2)).
PolyaWalk (гл. 16 §4)
Теорема Пойа: вернётся ли пьяный домой
Сверху — одно блуждание из 400 шагов. Возвращений в начало: 0.Снизу — точная вероятность вернуться в начало не позже шага t (Σf₂ᵢ из леммы) для прямой, плоскости и пространства; точки — доля из 3000 смоделированных блужданий для выбранной размерности. На прямой и плоскости кривые ползут к 1 (на плоскости — очень медленно), в пространстве — к 0.34.
FriedmanTest (гл. 17 §2–3)
Критерии Фридмана и Пейджа
Фридман: F = 6,5; по χ²_2 α₀ ≈ 0,039. Иман — Давенпорт (l = 1, m = 2, k ≤ 7, n > 7): F̃ = 7,336 против 6,439 — отвергаем H₀ на уровне 0.05.Попарно (C = 3,314, граница 11,482): Крысы–Кролики: 3; Крысы–Кошки: 9; Кролики–Кошки: 12 ✔. С контролем «Крысы» (D = 1,916, граница 9,388): Кролики: 3; Кошки: -9.Пейдж (ожидаем рост слева направо): L = 135, ML = 144, DL = 24, L* = -1,837, α₀ ≈ 0,967. Контраст Δ̃ (Кошки − Крысы) = -2,083.Блок Крысы Кролики Кошки 1 1,5 (2) 1,7 (3) 0,3 (1) 2 1,1 (2) 1,5 (3) 1 (1) 3 1,8 (1) 8,1 (3) 3,6 (2) 4 1,9 (3) 1,3 (2) 0 (1) 5 4,3 (3) 4 (2) 0,6 (1) 6 2 (1) 4,6 (2) 5,5 (3) 7 8,4 (3) 4 (2) 1 (1) 8 6,6 (3) 5,1 (2) 3,1 (1) 9 2,4 (2) 2,5 (3) 0,1 (1) 10 6,5 (2) 6,9 (3) 1,6 (1) 11 2,6 (2) 2,5 (1) 4,3 (3) 12 6,5 (2) 6,8 (3) 1 (1) Tⱼ 26 29 17
FriedmanDistribution (гл. 17 §2)
Точный закон статистики Фридмана
Закон статистики Фридмана F при H₀: все (k!)ⁿ наборов рангов равновероятны. Столбики — точный закон (перебор по блокам), сгруппированный по полуцелым интервалам; линия — те же вероятности по χ²_2. Наибольшее значение F = n(k − 1) = 4. P(F ≥ 4) = 0.1667, по χ² — 0.1353.
HappyTicket (гл. 17 §4)
Счастливый билетик
Столбики — число наборов из 3 цифр с суммой s (коэффициенты многочлена (1 + z + … + z⁹)^3). Счастливых номеров Σ N(s)² = 55 252, по формуле через производящую функцию — 55 252. Вероятность счастливого билета 0.05525 ≈ 1/18; по 50 000 случайных билетов — 0.05426.Билет 780783: суммы 15 и 18 — не счастливый. После «отражения» второй половины (цифра → 9 − цифра): 780216, сумма всех цифр 24 ≠ 27.
LatticeReturn (гл. 17 §4)
Вернётся ли частица: производящие функции
Вероятность когда-нибудь вернуться в 0: F(1) = 1 − |p − q| = 0.200 (по 10 000 блужданиям за 2000 шагов — 0.198). Вернуться сразу, на 2-м шаге: f₂ = 2pq = 0.180; к шагу 60 накопилось 0.200. Кто не вернулся сразу, тот почти наверняка уже не вернётся — «снос» уносит.
PearsonChiSquare (гл. 18 §1)
Критерий хи-квадрат Пирсона
Синие — наблюдённые количества νⱼ, красные — ожидаемые npⱼ⁰. X²ₙ = Σ(νⱼ − npⱼ⁰)²/(npⱼ⁰) = 0,470 при 3 степенях свободы.Правый хвост (данные хуже гипотезы): α₀ = P(χ²_3 ≥ X²) = 0,925. Левый хвост (данные «слишком хорошие»): P(χ²_3 ≤ X²) = 0,075.Наименьшее ожидаемое количество npⱼ⁰ = 34,8 — правило npⱼ⁰ ≥ 5 выполнено.
PoissonFit (гл. 18 §2)
Самолёты-снаряды над Лондоном: проверка пуассоновости
576 участков южной части Лондона, 537 попаданий. θ̂ = M/n — среднее по всей выборке, θ̃ — оценка максимального правдоподобия по частотам (ячейкам).X̃²ₙ = 1,019 при N − 1 − 1 = 3 степенях свободы, α₀ = 0,7967. Наименьшее ожидаемое количество — 8,64: правило «не меньше 5» выполнено.j 0 1 2 3 4+ участков lⱼ₊₁ 229 211 93 35 8 nπⱼ(θ̂), θ̂ = 0,932 226,74 211,39 98,54 30,62 8,71 nπⱼ(θ̃), θ̃ = 0,930 227,26 211,35 98,28 30,47 8,64
ChernoffLehmann (гл. 18 §2)
Нельзя подставлять ξ̄ и S: эффект Чернова — Лемана
400 нормальных выборок объёма 200, N = 10 равновероятных промежутков. Пунктир — функции распределения χ²_7 (левая) и χ²_9 (правая). Эмпирические функции распределения X̃²: параметры известны — среднее 8.75 (должно быть ≈ 9); ОМП по частотам — 6.83 (≈ 7); подставлены ξ̄ и S — 7.20: зажата между ними, как предсказали Чернов и Леман.
SimpsonParadox (гл. 18 §3)
Парадокс критерия хи-квадрат (парадокс Симпсона)
Мужчины B не B A 700 800 не A 80 130 X̂² = 5,456, α₀ = 0,020 Женщины B не B A 150 70 не A 400 280 X̂² = 6,125, α₀ = 0,013
A — принимали лекарство, B — выздоровели. Доли выздоровевших: мужчины 0,467 против 0,381, женщины 0,682 против 0,588, вместе 0,494 против 0,539. Парадокс Симпсона: в каждой подгруппе лекарство помогает, а в объединённой таблице «вредит».Вместе B не B A 850 870 не A 480 410 X̂² = 4,782, α₀ = 0,029
NormDistance (гл. 19 §1)
Расстояния Минковского: единичные шары
Тонкие линии — шары B₁ (ромб), B₂ (круг) и B∞ (квадрат). Жирная — Bp при p = 3,0. Чем больше p, тем сильнее «шар» раздувается к квадрату. Для точек A = (0, 0) и B = (3, 4): d₁ = 7, d₂ = 5, d∞ = 4, а сейчас dp = 4,498.m 1 2 3 5 10 V(B₁)/V(B∞) = 1/m! 1,0000 0,5000 0,1667 0,0083 2,76e-7 V(B₂)/V(B∞) 1,0000 0,7854 0,5236 0,1645 0,0025 V(Bp)/V(B∞), p = 3,0 1,0000 0,8833 0,7121 0,3774 0,0348
Нормировка признаков: зачем она нужна
Кружки — девушки, квадратики — юноши (данные модельные). Цвет — класс, найденный методом k-средних (k = 2) в евклидовой метрике. Оси нарисованы в одном масштабе — так, как их «видит» евклидово расстояние.Доля пар, разбитых неправильно (расстояние Хемминга между разбиениями): 0,0 %. Без нормировки результат зависит от того, в чём мерить вес: сожмёшь ось — классификация поедет.
ClusterPlayground (гл. 19 §2, §7)
Песочница кластеризации: эвристические методы
Ребро, если dᵢⱼ ≤ τ = 0,60. Классы — связные компоненты графа (поиск в глубину, §9).Гистограмма всех dᵢⱼ (рис. 7). Хорошее τ лежит между «горбом» внутриклассовых и «горбом» межклассовых расстояний.Найдено классов: 8. Доля пар, разбитых не так, как задумано при моделировании: 4,9 %.
Песочница кластеризации: эвристические методы
Квартическое ядро с R = 2,00, шаг поиска h = 0,1. Крестики — «дно ям», куда скатились объекты.Найдено классов: 2. Доля пар, разбитых не так, как задумано при моделировании: 7,8 %.
Dendrogram (гл. 19 §3–4, §6)
Иерархическая классификация: дендрограмма
По вертикали — мера отдалённости в момент объединения. Красный пунктир — уровень разреза на 2 класса.Инверсий нет: уровни объединений только растут. Коэффициенты Ланса–Уильямса при n₀ = n₁ = n₂ = 1: C1 = 0,500, C2 = 0,500, C3 = 0,000, C4 = -0,500; C1 + C2 + C3 = 1,000. Условия теоремы Миллигана выполнены.шаг 1 2 3 4 5 6 объединили → новый номер 3+4→8 5+8→9 6+9→10 7+10→11 1+2→12 11+12→13 уровень ρ 0,500 1,414 2,000 2,121 2,236 2,693
Быстрый алгоритм для редуктивных мер
| δ | U_δ в начале этапа | V_δ | объединения (уровень) | max |U_δ| | перебрано пар |
| 3 | (1,2) (2,3) (4,5) | {1,2,3,4,5} | 1+2→6 (1), 4+5→7 (2), 3+6→8 (3) | 3 | 6 |
| 5 | (7,8) | {7,8} | 7+8→9 (5) | 1 | 1 |
На каждом этапе объединяем только классы из V_δ — те, что входят в пары с ρ ≤ δ. Когда U_δ пустеет, порог поднимаем: δ′ = δ + шаг (но не меньше наименьшей из оставшихся мер). Новые классы получают номера 6, 7, …В памяти одновременно не больше 3 пар (против N₁ = 10 у обычной процедуры). При поиске минимумов перебрано 7 пар против Σ N_k = 20; плюс 2 полных прохода для построения U_δ в начале этапов. Дендрограмма совпадает с обычной процедурой.
Неизвестное число классов
Дендрограмма — метод Уорда. Для каждого k разрезаем её и считаем F = ȳ₁ (средний внутриклассовый разброс, делим на значение при k = 1) и G = 1/z̄₁ (обратная мера концентрации, при равных классах ровно k). Выбираем k с наименьшим Q = F/F(1) + λ·G.
Выбрано k = 3 (заложено 3). При λ = 0 «выигрывает» мелкая нарезка, при большом λ — один общий класс: выбор λ — на совести исследователя.k 1 2 3 4 5 6 7 8 F/F(1) 1,000 0,564 0,318 0,278 0,244 0,219 0,193 0,176 G = 1/z̄₁ 1,00 1,80 3,00 3,43 4,24 4,87 6,68 7,12 Q 1,150 0,834 0,768 0,793 0,879 0,950 1,195 1,244
WolfOrDog (гл. 19 §5, §8)
Собака или волк: дискриминантный анализ
Признаки нормированы по N3 (медиана и MAD) по всем 43 строкам рис. 16; μ_l и Σ_l заменены оценками максимального правдоподобия (Σ̂ с делителем n). Относим череп к закону с меньшим h.h₁ (собаки) = -2,94, h₂ (волки) = 39,67 → собака. Расстояние Бхаттачария B = 4,08, оценка α + β ≤ e−B = 0,0169. Как в книге: h₁ = −2,94, h₂ = 39,7, B = 4,08, e^{−B} ≈ 0,017.Скользящий контроль: из 42 известных животных, классифицированных по моделям без них самих, ошибочно отнесено 2.Замечание 6 (собаки против волков, H₀: μ₁ = μ₂ при общей Σ): L = det W_int / det W_tot = 0,1764, F = 27,23 при (6, 35) степенях свободы, p = 8,2e-12; приближение Бартлетта χ² = 64,19, p = 6,3e-12.
Собаки и волки на плоскости двух признаков
Синие кружки — собаки, красные треугольники — волки, крестик — неизвестное животное. X: длина черепа, Y: длина верхнего карнивора. При X = 1, Y = 4 получается рис. 19.Разделенность γ = 1 − ΣL/ΣR (§8): по оси X — 0,663, по оси Y — 0,970. По всем признакам: 1: 0,66; 2: 0,67; 3: 0,75; 4: 0,97; 5: 0,90; 6: 0,83. Лучше всех разделяет признак 4 — длина карнивора: «бабушка, а почему у тебя такие большие зубы?»
Модель Фишера: вероятности ошибок классификации
При Σ₁ = Σ₂ = Σ разделяющая поверхность h₁ = h₂ — гиперплоскость aᵀ(2x − μ₁ − μ₂) = 0, a = Σ⁻¹(μ₁ − μ₂). Статистика Y = aᵀ(2X − μ₁ − μ₂) распределена как N(d, 4d) при H₁ (синяя) и N(−d, 4d) при H₂ (красная); граница — Y = 0.α = β = Φ(−√d/2) = 0,1587, α + β = 0,3173; оценка через расстояние Бхаттачария B = d/8: e−B = 0,6065.
PcaExplorer (гл. 20 §1–3)
Главные компоненты: собаки и волки
Синие клетки — положительные координаты собственных векторов, красные — отрицательные (рис. 4). 95 %-й асимптотический интервал для λ₁ при n = 43: от 2,88 до 7,1.компонента c1 c2 c3 c4 c5 c6 собственное значение 4,100 0,883 0,639 0,259 0,097 0,022 % от следа 68,3 14,7 10,6 4,3 1,6 0,4 накоплено, % 68,3 83,0 93,7 98,0 99,6 100,0 1. длина черепа 0,43 0,23 0,53 0,11 0,05 0,68 2. длина верхней челюсти 0,43 0,38 0,39 0,01 -0,20 -0,69 3. ширина верхней челюсти 0,23 -0,89 0,37 -0,02 -0,00 -0,13 4. длина верхнего карнивора 0,44 -0,07 -0,40 -0,53 -0,58 0,18 5. длина первого верхнего моляра 0,46 0,02 -0,27 -0,31 0,78 -0,09 6. ширина первого верхнего моляра 0,42 -0,10 -0,44 0,79 -0,09 -0,01
Облако точек, главные оси и эллипс рассеяния
Пунктир — эллипс рассеяния xᵀΣ⁻¹x ≤ m + 2 = 4 для истинной Σ, сплошной — для выборочной Σ̂, отрезки — главные оси (полуоси ∝ √λ). Выборочные собственные значения λ̂₁ = 4,41, λ̂₂ = 0,63; на первую главную ось приходится 87,5 % разброса. Σ̂ = [[4,00; 1,18], [1,18; 1,04]], истинная Σ = [[4,00; 1,20], [1,20; 1,00]].
Степенной метод: вычисление главных компонент
| шаг i | tᵢ | |tᵢ − λ| | eᵢ |
| 1 | 3,33879 | 7,6e-1 | (0,73; 0,15; 0,22; 0,29; 0,36; 0,44) |
| 2 | 4,09793 | 2,0e-3 | (0,44; 0,43; 0,24; 0,42; 0,45; 0,42) |
| 3 | 4,09993 | 4,2e-5 | (0,43; 0,43; 0,23; 0,44; 0,46; 0,41) |
| 4 | 4,09997 | 1,1e-6 | (0,43; 0,43; 0,23; 0,44; 0,46; 0,42) |
| 5 | 4,09997 | 3,3e-8 | (0,43; 0,43; 0,23; 0,44; 0,46; 0,42) |
| 6 | 4,09997 | 1,1e-9 | (0,43; 0,43; 0,23; 0,44; 0,46; 0,42) |
| 7 | 4,09997 | 3,9e-11 | (0,43; 0,43; 0,23; 0,44; 0,46; 0,42) |
| 8 | 4,09997 | 1,5e-12 | (0,43; 0,43; 0,23; 0,44; 0,46; 0,42) |
Матрица — корреляционная матрица собак и волков (рис. 3), старт e₀ = (1; 0,2; 0,3; …). Для λ1 каждый шаг: ортогонализация к уже найденным осям, умножение на A, нормировка. Ошибка убывает не медленнее геометрической прогрессии γⁱ с γ = |λ2/λ1| = 0,215: чем ближе соседние собственные значения, тем медленнее. Понадобилось шагов: 8; точное λ1 = 4,09997.
TorgersonMap (гл. 20 §4)
Линейное шкалирование Торгерсона: признаки собак и волков
G* не является неотрицательно определённой: отрицательное собственное значение -187,2 (красное). На первые 2 оси приходится 97,3 % следа.Расстояния на плоскости и в скобках — заданные d′ = d + a:μ_l матрицы G* 3820,5 1320,6 316,5 12,5 0,0 -187,2 % от следа 72,3 25,0 6,0 0,2 0,0 -3,5
Красным — расхождения больше 8. На карте синие точки — размеры черепа, красные — размеры зубов. Признаки: 1 — длина черепа; 2 — длина верхней челюсти; 3 — ширина верхней челюсти; 4 — длина верхнего карнивора; 5 — длина первого верхнего моляра; 6 — ширина первого верхнего моляра.1 2 3 4 5 6 1 18 (4) 66 (65) 36 (39) 29 (28) 41 (41) 2 80 (80) 35 (34) 27 (26) 39 (41) 3 62 (63) 65 (65) 64 (65) 4 8 (11) 5 (24) 5 13 (21) 6
SammonMap (гл. 20 §6)
Нелинейное понижение размерности: метод Сэммона
16 групп по 4 точки вблизи вершин правильного симплекса в ℝ¹⁵ (буква — номер группы). На первую главную компоненту приходится 8,8 % следа, на вторую — 8,2 %, на обе — лишь 17,0 %: группы на проекции наползают друг на друга. Метод Сэммона (старт с той же проекции, сопряжённые градиенты) снизил F₁ с 0,42 до 0,13, и группы разошлись. У Лагутина: 8,3 %, 7,6 % и F₁ от 0,44 до 0,13.
Наискорейший спуск против сопряжённых градиентов
Старт из (−6/5; 1), минимум в (1; 1). Серые точки — линии уровня «серповидного ущелья». Красная ломаная — наискорейший спуск: шагов 1000, конец (0,913; 0,833), F = 0,0076. Синяя — сопряжённые градиенты: шагов 33, конец (1,000; 1,000), F = 3,3e-10. Спуск мечется поперёк дна оврага мелкими зигзагами, сопряжённые градиенты идут вдоль него.
Пропуски в данных: средним или локально?
| способ | ρ̂(X, Y) | стандартное отклонение Y |
| полные данные (до стирания) | 0,714 | 0,991 |
| только строки без пропусков | 0,715 | — |
| заполнение средним | 0,600 | 0,824 |
| локальное заполнение | 0,712 | 0,982 |
2000 пар (X, Y) из двумерного нормального закона; у 580 строк значение Y стёрто независимо от значений. Заполнение средним сжимает разброс Y и занижает связь. Локальное заполнение (берём Y у ближайшей по X полной строки) сохраняет и распределение, и корреляцию.
RankCorrelation (гл. 20 §7–8)
Корреляция: обычная и ранговая
Поправка Имана — Коновера: ρ̃_S = 1,22 против z₀,₀₅ = 1,67 — H₀ принимается. Для нормальной пары все три коэффициента в среднем согласуются, но на малых n их p-значения могут заметно расходиться — перебрось выборку. |τ| обычно меньше |ρ_S|: у них разная шкала.коэффициент значение p-значение (H₁: связь положительна) Пирсон ρ̂ 0,341 0,0331 (норм. прибл.) Спирмен ρ_S 0,225 0,1124 (норм. прибл.) Кендэл τ 0,172 0,0942 (точно)
Законы ρ_S и τ при независимости
Точный закон ρ_S при независимости (перебор всех 8! перестановок): симметричен относительно 0, Dρ_S = 1/(n − 1) = 0,1429. Корреляция ρ_S и τ по 1500 случайным перестановкам: 0,983, по формуле Кендэла и Стьюарта 2(n + 1)/√(2n(2n + 5)) = 0,982. Коэффициенты почти линейно связаны, хотя ρ_S и придаёт инверсиям веса (j − i).
Частная корреляция: исключаем общий фактор
200 плавок: Z — сорт сырья, X — время плавки, Y — процент брака. X и Y оба зависят от Z, а прямое влияние X на Y равно 0,00. Обычная корреляция ρ̂_XY = 0,698; с Z: ρ̂_XZ = 0,835, ρ̂_YZ = 0,824. Частная корреляция ρ̂_XY|Z = 0,033 (p = 0,6454), частный τ = 0,177. Видимая связь — «ложная»: после исключения Z она пропадает. Пример 10 из книги: ρ̂_xy = 0,105, но ρ̂_xy|z = 0,908.
Согласованность экспертов: коэффициент конкордации W
Коэффициент конкордации W = 0,714; средний коэффициент Спирмена по всем парам экспертов ρ̄_S = 0,699, и ((k − 1)ρ̄_S + 1)/k = 0,714 — то же самое. Статистика k(n − 1)W = 199,92 при 14 степенях свободы, p = 5,7e-35. Вопрос 3: при k = 20, n = 15 даже W = 0,09 даёт 25,2 > 23,7 — согласие значимо.
LineFit (гл. 21 §1)
Подгонка прямой: МНК против метода Тейла
Красная — МНК: b̂ = 0,572, â = 2,15. Синяя — метод Тейла: b̃ = 0,596 (медиана 105 попарных наклонов), ã = 1,95. Зелёный пунктир — первая главная компонента (замечание 1): наклон 0,592.Подвинь одну точку подальше: МНК-прямая поворачивается за ней, а наклон Тейла почти не меняется — один «выброс» портит не больше (n − 1) из n(n − 1)/2 попарных наклонов. Проверка замечания 2: τ(b̃) = 0,000.
Подгонка прямой: МНК против метода Тейла
Красная — МНК: b̂ = 0,353, â = 0,75. Синяя — метод Тейла: b̃ = 0,359 (медиана 55 попарных наклонов), ã = -0,71. Зелёный пунктир — первая главная компонента (замечание 1): наклон 0,353. МНК для прямой через начало Y = bX: b̂ = 0,354.Подвинь одну точку подальше: МНК-прямая поворачивается за ней, а наклон Тейла почти не меняется — один «выброс» портит не больше (n − 1) из n(n − 1)/2 попарных наклонов. Проверка замечания 2: τ(b̃) = 0,000. Как в книге: наименьший наклон 0,187, медиана 0,359, МНК 0,353.
RegressionInference (гл. 21 §3, §5)
Доверительные интервалы в линейной модели
Полоса — интервалы (21) для значения прямой a + bu. RSS = 0,229, n = 20. В точке u₉ = 0,7 интервал (0,10; 0,27); наблюдение 0,46 (красное) почти достигает верхней границы, увеличенной на 2σ̂: 0,27 + 0,22 = 0,49 — вероятно, «выброс». Как в книге: (0,08; 0,17), (0,48; 0,59), (−0,59; −0,41), (0,10; 0,27).оценка â = 0,535 b̂ = -0,501 σ̂ = 0,113 95 %-й интервал (0,48; 0,59) (-0,59; -0,41) (0,09; 0,17)
Проверка интервалов моделированием
2000 раз моделируем данные как в примере 4 (a = 0,5, b = −0,5, σ = 0,1, по два измерения в 10 узлах) и строим 95 %-е интервалы. Интервал для b (20) накрыл истину в 95,1 % случаев, интервал для σ (19) — в 95,3 %. При нормальных ошибках оба интервала честно держат 95 %.
Взвешенный МНК: неравноточные наблюдения
Пример 6: Y = θX (потери тепла от разности температур), x от 1 до 10, 20 наблюдений, 3000 повторов. Обычный МНК: θ̂ = Σxη/Σx², стандартное отклонение оценки 0,1423. Взвешенный МНК (θ̂ = (1/n)Σ(ηᵢ/xᵢ)): 0,1107. Выигрыш по дисперсии — в 1,65 раза: точным наблюдениям — больший вес.
FTestExplorer (гл. 21 §4)
F-критерий общей линейной гипотезы
θ̂ = (0,535; -0,501), RSS = 0,229, D₀ = 0,1277 (разброс повторных измерений), k = 10 узлов.R = 0,994 при (8, 10) степенях свободы, 95 %-квантиль закона Фишера 3,07, p = 0,4932: гипотеза адекватности не отвергается. Как в книге: R = 1,00 < 3,07.
F-критерий общей линейной гипотезы
θ̂ = (0,535; -0,344), RSS = 0,705, D₀ = 0,1277 (разброс повторных измерений), k = 10 узлов.R = 5,650 при (8, 10) степенях свободы, 95 %-квантиль закона Фишера 3,07, p = 0,0067: гипотеза адекватности отвергается. У Лагутина R = 5,76; наш пересчёт по данным книги даёт 5,65 — вывод тот же.
F-критерий общей линейной гипотезы
â = 0,525, b̂ = -0,093, RSS = 0,213, D₀₁ = b̂²|x₂|² = 0,0573.R = 4,848 при (1, 18) степенях свободы, 95 %-квантиль закона Фишера 4,41, p = 0,0410: наклон значимо отличен от нуля — понизить размерность нельзя. В книге стоит «4,77 < 4,41» — опечатка: 4,77 > 4,41, и вывод книги («понизить размерность не удаётся») соответствует именно «>». Наш точный пересчёт: 4,85.
F-критерий общей линейной гипотезы
b̂ = -1,367, â = 79,23, D₀ = RSS = 9608,7, D₁ = 9755,2.R = 0,732 при (1, 48) степенях свободы, 95 %-квантиль закона Фишера 4,04, p = 0,3965: наклон можно считать равным нулю. Как в книге: R = 0,732 < 4,04.
F-критерий общей линейной гипотезы
4 группы по 6 наблюдений, у последней среднее сдвинуто на 0,30. L₀ — средние по группам, L₁ — общее среднее.R = 3,501 при (3, 20) степенях свободы, 95 %-квантиль закона Фишера 3,10, p = 0,0345: средние групп различаются.
RegressionParadoxes (гл. 21 §6)
Парадоксы регрессии
Девять городов (данные модельные, подобраны под книгу): ρ̂ = 0,403 — связь слабая. С Нью-Йорком: ρ̂ = 0,995, а прямая — по сути отрезок от «центра масс» девяти городов к одной далёкой точке. Как в книге: 0,403 и 0,995. Одна аномальная точка по оси X решает всё.
Парадоксы регрессии
Девять точек на «галочке» y = |u − 5| и интерполяционный многочлен Лагранжа степени 9. Диапазон многочлена на [0, 10]: от -2,0 до 10,6 (окно — от −1 до 6). Одна «шумная» точка рядом с узлом — и многочлен начинает раскачиваться по всему отрезку: интерполяция — частный случай регрессии при n = m, а в нём шум ничем не гасится.
Парадоксы регрессии
| модель | θ̂ по всем 20 | σ̂ | θ̂ по 10 тяжёлым | σ̂ на 10 лёгких |
| 1. линейная | -1102,82; 11,02; -2,32 | 40,5 | -1427,03; 14,35; -4,45 | 63,1 |
| 2. степенная | 1,79e-4; 3,00; -0,13 | 36,7 | 1,18e-4; 3,64; -0,72 | 25,4 |
| 3. содержательная | 1,12e-4 | 38,7 | 1,13e-4 | 25,4 |
20 коров (данные модельные): вес Z = θ₀X²Y·(1 + шум), X — обхват, Y — длина туловища (см). Модели: (1) Z = θ₁ + θ₂X + θ₃Y, (2) Z = θ′₁X^θ′₂Y^θ′₃, (3) Z = θ₀X²Y. Обучаемся на 10 самых тяжёлых и проверяем на 10 лёгких. Формальные модели с тремя «рычагами» подгоняются к обучающей подвыборке не хуже содержательной, но их коэффициенты неустойчивы, и на новых данных они ошибаются заметно сильнее (красное). В среднем по 40 повторам моделирования — в 1,7 и 1,5 раза. В книге — более чем в 3 раза.
KernelDensity (гл. 22 §1)
Оценка плотности: выбор ширины окна
Пример 1: выборка из плотности p(z) = 2(I[0,1; 0,4] + I[0,6; 0,8]) (серая «ступенька»), синяя кривая — оценка Розенблатта — Парзена с ядром «Треугольное», h = 0,100. Интегральная квадратичная ошибка ∫(p̂ − p)² = 0,246. Окно разумное: видны оба «плато». Штрихи внизу — сами наблюдения.
Ядра: форма почти не важна
Эффективность E(q) — отношение минимального риска J(h*) с ядром Епанечникова к риску с ядром q. Для той же точности ядру q нужно в E^(−5/4) раз больше наблюдений: прямоугольному — всего на 7,6 % больше. Выбор ядра мало влияет на точность.N ядро q(y) α = ∫q² β = ∫y²q E(q) 1 Епанечникова (3/4)(1 − y²) на [−1, 1] 0,600 0,200 1,000 2 Квартическое (15/16)(1 − y²)² на [−1, 1] 0,714 0,143 0,995 3 Треугольное 1 − |y| на [−1, 1] 0,667 0,167 0,989 4 Гаусса (2π)^(−1/2) exp(−y²/2) 0,282 1,000 0,961 5 Прямоугольное 1/2 на [−1, 1] 0,500 0,333 0,943
Смещение против разброса: оптимальная ширина окна
Истинная плотность — N(0, 1), γ = ∫(p″)² = 3/(8√π) ≈ 0,212. Красная — квадрат смещения ¼β²γh⁴, синяя — дисперсия α/(nh), чёрная — их сумма J(h) (5). Оптимум h* = 1,026, J(h*) = 0,00813. Увеличь n в 32 раза — h* уменьшится лишь вдвое (h* ∝ n^(−1/5)), а J — в 16 раз (∝ n^(−4/5)).
KernelRegression (гл. 22 §2)
Непараметрическая регрессия: оценка Надарая — Ватсона
Пример 2 (данные модельные): m(x) = 1 − x + exp(−200(x − ½)²) (пунктир) — прямая с узким «горбом» в ½, n = 50, xᵢ = i/50, шум N(0, σ²). Синяя — оценка с ядром «Квартическое», h = 0,09; в точке ½ она равна 1,17 (истина 1,5). При σ = 1, как в книге, «горб» в облаке точек не различить, а сглаживание его находит.
Метод пропуска (кросс-проверка)
S(h) = Σ[Yᵢ − m̂₋ᵢ(Xᵢ)]² — сумма квадратов ошибок предсказания каждой точки по остальным. Минимум при h = 0,09; снизу — оценка с этим окном. В книге (на её данных) S(h) имеет два локальных минимума, около 0,1 и 0,3, а глобальный — при h = 0,09. На наших модельных данных (по умолчанию) картина похожая; нажми «Новые данные» — при таком сильном шуме оптимальное окно заметно «гуляет» от выборки к выборке.
Переменное окно: k ближайших соседей
«Где пусто, а где густо»: 60 точек сгущаются у левого края, справа их мало. Пунктир — истинная кривая sin 2πx. Синяя — постоянное окно h: одно и то же h не подходит всюду. Там, где точек много, его можно было бы сузить, а справа, где точек мало, оценка дёргается или обрывается, если в окно не попала ни одна точка. Зелёная — окно до k-го соседа: само подстраивается под густоту точек.
Алгоритм LOWESS: устойчивое сглаживание
Пример 4 (модельно): Yᵢ = xᵢ/50 + εᵢ, xᵢ = 1…50, εᵢ ~ N(0, 1), плюс «выбросы» у краёв (красные). Пунктир — истинный тренд, серая — МНК-прямая (её выбросы тянут на себя). Красная тонкая — локальная линейная подгонка без робастификации, синяя — LOWESS после 2 итераций: веса cᵢ = q(ε̂ᵢ/(6σ̂)) гасят точки с большими невязками. Средняя ошибка относительно тренда: 0,434 без робастификации и 0,267 после.
SignVectorTest (гл. 23 §2)
Многомерный критерий знаков: таблица 2×2
| Q ниже | Q выше | |
|---|---|---|
| V ниже | 34 | 22 |
| V выше | 8 | 36 |
S* = 0,06 + 6,53 = 6,59, p = 0,037 → отвергаем
только V: 56 ниже / 44 выше, α₀ = 0,136 → не отвергаем
только Q: 42 ниже / 58 выше, α₀ = 0,067 → не отвергаем
Знаки отклонений от национальных средних: «ниже» = −, «выше» = +. S* = (N⁺⁺ − N⁻⁻)²/(N⁺⁺ + N⁻⁻) + (N⁺⁻ − N⁻⁺)²/(N⁺⁻ + N⁻⁺) — формула (3); при H₀ она приближённо χ²₂, 0,95-квантиль 5,99. Одномерные α₀ — критерий знаков по одной координате, нормальное приближение с поправкой на непрерывность, односторонняя альтернатива (у Лагутина для Q напечатано 0,069; точный счёт даёт 0,067). Многомерный критерий смотрит на диагонали таблицы: перекос «выше по V, ниже по Q» против «ниже по V, выше по Q» (8 против 22) и выдаёт сдвиг, который по каждой оси в отдельности не дотягивает до 5 %.
Одновыборочные многомерные критерии: знаки, ранги, Хотеллинг
Знаковые ранги: T = (3,13; −4,81), v̂₁₂ = 0,077
(nV̂)⁻¹ = [0,219; −0,052 | −0,052; 0,219]
T* = 8,787, p = 0,012 → отвергаем
Хотеллинг: X̄ = (127,5; 75,3), G = 4,12, p = 0,041 → отвергаем
Σ̂ = [269,2; 106,5 | 106,5; 182,7]
θ̂ (Уолш) = (126,0; 73,0)
Точки — (X, Y) у 15 индейцев, крест — θ′ (стандарт США 120/80), синий ромб — оценка сдвига θ̂ из медиан средних Уолша. Пунктир делит плоскость на четверти — по ним считаются знаки. Знаково-ранговый T* у нас 8,787, а не 8,605, как у Лагутина: в его таблице для X = 118 знаковый ранг напечатан как −8 вместо −1. Поверни облако: S* и T* меняются (они не инвариантны к вращению), а G Хотеллинга — нет. Убери два выброса — и G подскакивает до 13, а Σ̂ становится совсем другой: Хотеллинг неустойчив.
MultiShiftPower (гл. 23 §1–3)
Многомерные критерии сдвига: уровень и мощность
400 повторений, уровень 0,05; доля отклонений гипотезы = мощность (при сдвиге 0 — фактический уровень, пунктир 5 %). «По осям, Бонф.» — наивная стратегия: одномерный критерий по каждой координате на уровне 0,025, отвергаем, если сработал хоть один. Сдвиг в направлении −30° при ρ = 0,5 идёт «поперёк» корреляции — тут многомерные критерии выигрывают у покоординатных почти вдвое; поставь 45° (вдоль корреляции) — и выигрыш пропадает: многомерный критерий учитывает, что такой сдвиг похож на обычный совместный разброс.
Многомерные критерии сдвига: уровень и мощность
400 повторений, уровень 0,05; доля отклонений гипотезы = мощность (при сдвиге 0 — фактический уровень, пунктир 5 %). «По осям, Бонф.» — наивная стратегия: одномерный критерий по каждой координате на уровне 0,025, отвергаем, если сработал хоть один. Для Коши у Хотеллинга нет даже средних — мощность почти не растёт со сдвигом, а ранговые критерии работают. Сдвиг в направлении −30° при ρ = 0,5 идёт «поперёк» корреляции — тут многомерные критерии выигрывают у покоординатных почти вдвое; поставь 45° (вдоль корреляции) — и выигрыш пропадает: многомерный критерий учитывает, что такой сдвиг похож на обычный совместный разброс.
Многомерные критерии сдвига: уровень и мощность
400 повторений, уровень 0,05; доля отклонений гипотезы = мощность (при сдвиге 0 — фактический уровень, пунктир 5 %). «По осям, Бонф.» — наивная стратегия: одномерный критерий по каждой координате на уровне 0,025, отвергаем, если сработал хоть один. В двухвыборочной задаче симметрия не нужна (форма у обеих выборок одна), но на «веере» ранги заметно мощнее Хотеллинга: длинный хвост раздувает выборочные дисперсии. Сдвиг в направлении −30° при ρ = 0,5 идёт «поперёк» корреляции — тут многомерные критерии выигрывают у покоординатных почти вдвое; поставь 45° (вдоль корреляции) — и выигрыш пропадает: многомерный критерий учитывает, что такой сдвиг похож на обычный совместный разброс.
MigraineRanks (гл. 23 §3)
Две выборки: многомерный критерий Уилкоксона — Манна — Уитни
X̄, Ȳ: I (4,2; 7,1), II (3,7; 9,8)
ст. откл.: I (2,7; 2,7), II (0,8; 1,7)
W = (1,305; 6,475), v̂₁₁ = 0,020, v̂₁₂ = 0,0025
(NV̂)⁻¹ = [0,513; −0,064 | −0,064; 0,513]
W* = 21,28, p < 0,001 (0,999-квантиль χ²₂ = 13,8)
по X отдельно: z = 0,93; по Y: z = 4,60
для сравнения Хотеллинг (неуместен — «веер»): F = 19,3
Чёрные кружки — группа I (данные самого исследователя), синие квадраты — группа II (заимствованные); размер значка — сколько больных совпало в одной точке. X — длительность приступа (ч), Y — частота приступов (дней в месяц). У группы II разброс намного меньше, «облако» круглое и с массой совпадений; у группы I — «веер», расширяющийся вверх и вправо. Восстановлено: ведущая единица у Y возвращена, добавлены пары (2,5; 8) в I и (3; 10) в II — и все числа книги сходятся до последнего знака.
Две выборки: многомерный критерий Уилкоксона — Манна — Уитни
X̄, Ȳ: I (4,2; 7,1), II (3,7; 9,8)
ст. откл.: I (2,7; 2,7), II (0,8; 1,7)
W = (1,305; 6,475), v̂₁₁ = 0,020, v̂₁₂ = 0,0025
(NV̂)⁻¹ = [0,513; −0,064 | −0,064; 0,513]
W* = 21,28, p < 0,001 (0,999-квантиль χ²₂ = 13,8)
по X отдельно: z = 0,93; по Y: z = 4,60
для сравнения Хотеллинг (неуместен — «веер»): F = 19,3
Чёрные кружки — группа I (данные самого исследователя), синие квадраты — группа II (заимствованные); размер значка — сколько больных совпало в одной точке. X — длительность приступа (ч), Y — частота приступов (дней в месяц). В рангах «хвост» группы I по X (точки с X = 7…12) прижат к краю: ранг не знает, насколько далеко точка, — поэтому одномерный критерий по X сдвига не видит (z ≈ 0,93). Восстановлено: ведущая единица у Y возвращена, добавлены пары (2,5; 8) в I и (3; 10) в II — и все числа книги сходятся до последнего знака.
AnsariBradley (гл. 24 §1)
Критерий Ансари — Брэдли
z* = 4,54 (без поправки), z* = 4,70 с поправкой; двусторонний p < 0,001
Все 99 значений длительности приступа упорядочены по возрастанию; высота столбика — метка Ансари — Брэдли: 1 у краёв, (N + 1)/2 в середине (при совпадениях — средняя метка группы). Чёрные — группа I, синие — группа II (Y). Z — сумма синих меток: группа II сидит в середине ряда, её метки велики, Z ≫ MZ — значит, у неё разброс меньше. С поправкой на совпадения z* = 4,70 (в книге 4,7). Двигай ползунок: критерий Ансари — Брэдли честен, только если медианы равны.
Точный закон статистики Ансари — Брэдли
При H₀ все C(N, m) размещений Y-ов по N местам равновероятны (комментарий 1) — отсюда точный закон Z. Красные столбики — хвосты, которые вместе дают не больше 5 % (двусторонний критерий). Синяя кривая — нормальное приближение с MZ и DZ из формулы (1). При малых n и m закон заметно «зубчатый», а при n, m ≈ 10 приближение уже хорошее.
MosesTest (гл. 24 §2)
Критерий Мозеса и оценка Шорака
C = 33,5; 23,0; 20,7; 97,5; 106,0
D = 4,0; 0,5; 3,4; 4,9; 6,5; 4,4; 10,0
U = 0,0; P(U ≤ 0,0) = 0,0013; двусторонний p = 0,0025 → разбросы различаются
γ̂ = σ₂/σ₁ = 0,320, 1/γ̂ = σ₁/σ₂ = 3,122
Каждая подгруппа из k наблюдений превращается в одно число — сумму квадратов отклонений от своего среднего (Cᵣ для группы I, Dₛ для группы II). Сдвиг медиан на эти числа не влияет, поэтому равенство медиан не требуется. Затем Cᵣ и Dₛ сравниваются критерием Уилкоксона — Манна — Уитни: U — число пар (r, s) с Cᵣ < Dₛ. При разбиении из книги все C больше всех D, U = 0, и точная вероятность этого при H₀ равна 1/C(12, 5) = 1/792 ≈ 0,0013 (у Лагутина — «менее 0,001»). Оценка Шорака: γ̂ — корень из медианы всех отношений Dₛ/Cᵣ; сейчас 1/γ̂ = 3,122 (в книге 3,112).
Критерий Мозеса зависит от жребия
Одни и те же данные (признак X, группы I и II), 300 разных случайных разбиений на подгруппы по k = 8. Гистограмма — оценки Шорака σ₁/σ₂; они разбросаны от 2,26 до 4,46. При 0,7 % разбиений критерий Мозеса НЕ отвергает H₀ на уровне 0,05. Это и есть недостаток из комментария 2: два честных исследователя могут получить разные выводы, а нечестный — перебирать разбиения, пока не выйдет «нужное». Допустима лишь одна чисто случайная группировка! Подвигай k: при малых k (много подгрупп) результат устойчивее, при больших — подгрупп мало, и уровень 5 % может стать недостижимым.
ScaleTestsPower (гл. 24 §1–2)
Критерии масштаба: Ансари — Брэдли, Мозес, F
400 повторений, двусторонние критерии уровня 0,05. При σ₂/σ₁ = 1 столбики — фактический уровень (должен быть около 5 %), иначе — мощность. Подвинь мешающий сдвиг: мощность Ансари — Брэдли тает (он предполагает равные медианы), а Мозес её не замечает — суммы квадратов внутри подгрупп от сдвига не зависят. Включи закон Лапласа или Коши при σ₂/σ₁ = 1: классический F-критерий (отношение выборочных дисперсий) начинает «видеть» несуществующую разницу — он держит уровень только для нормальных данных. Ранговые критерии свободны от распределения.
Критерии масштаба: Ансари — Брэдли, Мозес, F
400 повторений, двусторонние критерии уровня 0,05. При σ₂/σ₁ = 1 столбики — фактический уровень (должен быть около 5 %), иначе — мощность. Подвинь мешающий сдвиг: мощность Ансари — Брэдли тает (он предполагает равные медианы), а Мозес её не замечает — суммы квадратов внутри подгрупп от сдвига не зависят. Включи закон Лапласа или Коши при σ₂/σ₁ = 1: классический F-критерий (отношение выборочных дисперсий) начинает «видеть» несуществующую разницу — он держит уровень только для нормальных данных. Ранговые критерии свободны от распределения.
Два критерия сразу: сдвиг и масштаб
Гипотеза верна: X и Y из одного закона. Применяем сразу два критерия: Уилкоксона — Манна — Уитни (сдвиг) на уровне α₁ = 0,05 и Ансари — Брэдли (масштаб) на уровне α₂ = 0,05. Рэндлс и Хогг показали, что при H₀ их статистики асимптотически независимы, поэтому «отвергли хотя бы одним» случается с вероятностью ≈ α₁ + α₂ − α₁α₂ = 9,75 % (пунктир), а «оба сразу» — ≈ α₁α₂ = 0,25 %. Мораль: проверяешь две вещи — плати уровнем за обе. 1500 повторений.
LEstimateWeights (гл. 25 §1)
L-оценки: весовая функция λ(t)
Линия — весовая функция λ(t) на [0, 1]: какой вес получает порядковая статистика X₍ᵢ₎ с i/(n + 1) ≈ t. Точки — веса wᵢ для n = 20 (нормированы к сумме 1, ×n). σ²(F, λ) — асимптотическая дисперсия по теореме 1, 1/I(F) — нижняя граница (теорема 2: её достигает λ*). По книге: λ*(t) = 6t(1 − t).
L-оценки: весовая функция λ(t)
Линия — весовая функция λ(t) на [0, 1]: какой вес получает порядковая статистика X₍ᵢ₎ с i/(n + 1) ≈ t. Точки — веса wᵢ для n = 20 (нормированы к сумме 1, ×n). σ²(F, λ) — асимптотическая дисперсия по теореме 1, 1/I(F) — нижняя граница (теорема 2: её достигает λ*). По книге: λ*(t) = 2cos(2πt)[cos(2πt) − 1]. У Коши λ* отрицательна при |t − ½| > ¼: крайним наблюдениям даётся отрицательный вес — они «вычитаются».
L-оценки: весовая функция λ(t)
Линия — весовая функция λ(t) на [0, 1]: какой вес получает порядковая статистика X₍ᵢ₎ с i/(n + 1) ≈ t. Точки — веса wᵢ для n = 20 (нормированы к сумме 1, ×n). σ²(F, λ) — асимптотическая дисперсия по теореме 1, 1/I(F) — нижняя граница (теорема 2: её достигает λ*). По книге: весь вес — в t = ½ (медиана).
MEstimatorLab (гл. 25 §2)
M-оценки: функции ρ и ψ
Коши: X̄ — ∞, MED — 2,467, Хьюбер — 2,993, Тьюки — 2,350; граница 1/I(F) = 2,000
ψ Тьюки на графике уменьшена вдвое для масштаба.
Сверху — «мера разброса» ρ: красная — ρ_b Хьюбера (парабола x²/2 внутри [−b, b], прямые снаружи), пунктир — x²/2 (среднее), серая — |x| (медиана). Снизу — ψ = ρ′: у Хьюбера она обрезана на уровне ±b, у Тьюки (синяя) возвращается к нулю — далёкие точки не влияют вовсе. Увеличивай b — Хьюбер сближается с X̄, уменьшай — с медианой. Асимптотические дисперсии — по формуле (11).
M-оценки на выборке с выбросом
Хьюбер: θ̃₀ … θ̃ = 0,571 → 0,427 → 0,411 → 0,409 → 0,409 → 0,409 → … → 0,409 (12 итер.)
Тьюки: 0,571 → 0,339 → 0,306 → 0,301 → 0,301 → 0,301 → … → 0,301
14 точек из N(0, 1) и одна, которую ты двигаешь. Масштаб — нормированная MAD (замечание 3), M-оценки считаются итерациями (16) W-оценки, начиная с θ̃₀ = MED. Тащи выброс вправо: X̄ уезжает за ним без ограничений, Хьюбер сдвигается на ограниченную величину и замирает, Тьюки при очень далёком выбросе просто перестаёт его замечать (вес 0).
Минимаксный подход Хьюбера: b(ε)
Модель Хьюбера (12): F = (1 − ε)Φ + εH с произвольным симметричным H. Минимакс (13) — оценка с наименьшей наихудшей дисперсией; это M-оценка с ψ_b, где b(ε) — корень уравнения (14): 1/(1 − ε) = 2Φ(b) − 1 + 2φ(b)/b. Чем грязнее данные, тем меньше b, т. е. тем ближе оценка к медиане. Таблица книги: ε = 0,001 → 2,630; 0,01 → 1,945; 0,05 → 1,399; 0,1 → 1,140; 0,2 → 0,862; 0,5 → 0,436 (наш счёт расходится лишь в третьем знаке: 2,633 и 1,398).
RHalfSums (гл. 25 §3)
R-оценки: треугольник полусумм
Медиана Уолша (все dᵢ = 1): 0,401
для сравнения MED = 0,336
Клетка (j, k), j ≤ k — полусумма (X₍ⱼ₎ + X₍ₖ₎)/2; цвет — её вес w_jk из (17): d с номером n − (k − j), делённое на Σ i·dᵢ. Вес зависит только от номера диагонали k − j (рис. 4 у Лагутина): главная диагональ — сами X₍ⱼ₎ (вес dₙ), угол (1, n) — середина размаха (вес d₁). R-оценка — медиана распределения полусумм с этими весами (на оси снизу: кружки — данные, ромбы — полусуммы с ненулевым весом). Оценка Гальтона берёт только полусуммы (X₍ᵢ₎ + X₍ₙ₋ᵢ₊₁₎)/2 — антидиагональ, у которой k − j меняется, — поэтому в класс R-оценок она не входит. Добавь выброс: середина размаха улетает, медиана Уолша сдвигается чуть-чуть.
R-оценки: треугольник полусумм
Гальтон (не R-оценка): 0,383
для сравнения MED = 0,336
Клетка (j, k), j ≤ k — полусумма (X₍ⱼ₎ + X₍ₖ₎)/2; цвет — её вес w_jk из (17): d с номером n − (k − j), делённое на Σ i·dᵢ. Вес зависит только от номера диагонали k − j (рис. 4 у Лагутина): главная диагональ — сами X₍ⱼ₎ (вес dₙ), угол (1, n) — середина размаха (вес d₁). R-оценка — медиана распределения полусумм с этими весами (на оси снизу: кружки — данные, ромбы — полусуммы с ненулевым весом). Оценка Гальтона берёт только полусуммы (X₍ᵢ₎ + X₍ₙ₋ᵢ₊₁₎)/2 — антидиагональ, у которой k − j меняется, — поэтому в класс R-оценок она не входит. Добавь выброс: середина размаха улетает, медиана Уолша сдвигается чуть-чуть.
R-оценки: треугольник полусумм
Нормальные метки N: 0,372
для сравнения MED = 0,336
Клетка (j, k), j ≤ k — полусумма (X₍ⱼ₎ + X₍ₖ₎)/2; цвет — её вес w_jk из (17): d с номером n − (k − j), делённое на Σ i·dᵢ. Вес зависит только от номера диагонали k − j (рис. 4 у Лагутина): главная диагональ — сами X₍ⱼ₎ (вес dₙ), угол (1, n) — середина размаха (вес d₁). R-оценка — медиана распределения полусумм с этими весами (на оси снизу: кружки — данные, ромбы — полусуммы с ненулевым весом). Оценка Гальтона берёт только полусуммы (X₍ᵢ₎ + X₍ₙ₋ᵢ₊₁₎)/2 — антидиагональ, у которой k − j меняется, — поэтому в класс R-оценок она не входит. Добавь выброс: середина размаха улетает, медиана Уолша сдвигается чуть-чуть.
InfluenceCurves (гл. 25 §3–4)
Функция влияния: что делает с оценкой одна точка
Берём «идеальную» нормальную выборку из n − 1 точки (ожидаемые порядковые статистики) и добавляем к ней точку y. Сплошные линии — кривые чувствительности SC(y) = n·[T(с точкой y) − T(без неё)] — конечная версия функции влияния A(y) из (18); пунктир — теоретическая A(y) для N(0, 1). У X̄ влияние неограниченно (A(y) = y — прямая под 45°), у медианы — ступенька ±1/(2p(0)) ≈ ±1,25, у Хьюбера — ψ_b(y)/(2Φ(b) − 1), ограничена величиной c = b/(2Φ(b) − 1) ≈ 1,73 при b = 1,5. У Тьюки далёкая точка вообще не влияет.
L-, M- и R-оценки: кто где хорош
| Оценка | класс | Нормальный | Логистический | Лаплас | Коши | Засорённый | Хьюбер (ε = 0,05) |
|---|---|---|---|---|---|---|---|
| Среднее X̄ | L, M, R | 1,00 | 3,29 | 2,00 | ∞ | 1,80 | 1,41 |
| Медиана MED | L, M, R | 1,57 | 4,00 | 1,00 | 2,47 | 1,80 | 1,74 |
| Усечённое 10 % | L | 1,06 | 3,02 | 1,49 | 4,77 | 1,30 | 1,26 |
| Усечённое 25 % | L | 1,20 | 3,16 | 1,23 | 2,55 | 1,39 | 1,35 |
| Хьюбер, b = 1,5 | M | 1,04 | 3,06 | 1,47 | 2,99 | 1,30 | 1,26 |
| Тьюки (бивес) | M | 1,05 | 3,57 | 1,43 | 2,35 | 1,28 | 1,28 |
| Медиана Уолша W | R | 1,05 | 3,00 | 1,33 | 3,29 | 1,31 | 1,26 |
| Нормальные метки N | R | 1,00 | 3,14 | 1,57 | 4,65 | 1,42 | 1,33 |
| граница 1/I(F) | 1,00 | 3,00 | 1,00 | 2,00 | 1,26 | 1,26 |
Асимптотические дисперсии σ² (в единицах 1/n) по формулам теоремы 1 (L), (11) (M) и §3 (R); нижняя строка — граница Рао — Крамера 1/I(F). Жирным — лучшая оценка в столбце. Ни одна оценка не лучшая везде: X̄ идеальна для нормального закона и бесполезна для Коши, медиана — наоборот. Хьюбер и медиана Уолша почти нигде не проваливаются — это и есть робастность. Нормальные метки N на нормальном законе не хуже X̄, но на Коши — 4,65 при границе 2 (мнение Хьюбера в §3). Кнопки законов запускают моделирование: последняя колонка — n·Var по выборкам (для Коши у X̄ получится огромное случайное число).
BrownianPaths (гл. 26 §1–2)
Броуновское движение как предел блужданий
Три симметричных блуждания по ±1 из n шагов (§6 гл. 14), сжатые по оси t в n раз, а по оси y — в √n раз. При n = 4 это грубые ломаные, при n = 2048 — уже «пушистые» кривые: в пределе возникает стандартное броуновское движение W(t). Почему по y именно √n: к моменту n блуждание уходит от нуля на величину порядка √n (дисперсия суммы n шагов ±1 равна n).
Броуновский мост
Серая — траектория W(t), пунктир — прямая tW(1) из начала в конец траектории, красная — броуновский мост B(t) = W(t) − tW(1) (рис. 2 у Лагутина). Оба конца моста закреплены: B(0) = B(1) = 0. Сейчас W(1) = −0,04.
Ковариационные функции W и B
Ковариация cov(X(s), X(t)) как функция t при s = 0,30 по 1500 траекториям: синяя — для W, теория R(s, t) = min{s, t} (пунктир); красная — для моста B, теория min{s, t} − st, формула (1). У W ковариация растёт до t = s и дальше постоянна (будущее не зависит от прошлого, кроме уже пройденного пути), у моста — «шалашик», обращающийся в 0 при t = 1: мост обязан вернуться в ноль.
У броуновской траектории нет производной
| m | средняя |ΔW|/Δt | √(2m/π) |
|---|---|---|
| 16 | 3,2 | 3,2 |
| 64 | 5,8 | 6,4 |
| 256 | 12,7 | 12,8 |
| 1024 | 25,5 | 25,5 |
| 4096 | 50,9 | 51,1 |
Средняя крутизна |ΔW|/Δt на сетке с шагом Δt = 1/m. Для гладкой функции она стабилизировалась бы около |f′|, а у W(t) растёт как √m (теория: √(2m/π)): приращение за время Δt порядка √Δt, а делим на Δt. Отсюда — траектории нигде не дифференцируемы, и каждый локальный максимум с ростом n становится всё «острее».
EmpiricalProcess (гл. 26 §2–3)
Эмпирический процесс
Выборка η₁ … ηₙ из равномерного закона на [0, 1]; эмпирический процесс Bₙ(t) = √n(F̂ₙ(t) − t) — пила: в каждой точке выборки скачок вверх на 1/√n, между точками — спуск с наклоном −√n. Концы закреплены: Bₙ(0) = Bₙ(1) = 0, как у моста. Увеличивай n — пила становится всё мельче и при n → ∞ неотличима от броуновского моста (теорема 1). Пунктиры — уровни ±√n·Dₙ.
Функционалы от эмпирического процесса и их пределы
Колмогоров √n·Dₙ = √n·sup|F̂ₙ(t) − t|. Синяя ступенька — эмпирическая функция распределения статистики по 1000 выборкам объёма n; красный пунктир — предельный закон: K(x) = 1 + 2Σ(−1)ᵏe^(−2k²x²). Все пять пределов — функционалы от одного и того же броуновского моста (теорема 2 и следствия 1–4). Максимальное расхождение: 0,044 (случайный шум при 1000 повторениях — около 0,03). Уменьши n — увидишь, при каких объёмах предел ещё врёт; у квантили и хи-квадрата при малых n заметна дискретность.
Функционалы от эмпирического процесса и их пределы
Крамер — Мизес nω² = n∫(F̂ₙ(t) − t)²dt. Синяя ступенька — эмпирическая функция распределения статистики по 1000 выборкам объёма n; красный пунктир — предельный закон: закон ∫B²(t)dt (формула Смирнова). Все пять пределов — функционалы от одного и того же броуновского моста (теорема 2 и следствия 1–4). Максимальное расхождение: 0,027 (случайный шум при 1000 повторениях — около 0,03). Уменьши n — увидишь, при каких объёмах предел ещё врёт; у квантили и хи-квадрата при малых n заметна дискретность.
Блуждание с положительными шагами и закон Колмогорова
Замечание из книги (к задаче 2 гл. 12): Sᵢ = X₁ + … + Xᵢ с положительными шагами, ξₙ = √n·max|Sᵢ/Sₙ − i/n|. Первый сомножитель в разложении сходится к σ/μ, второй — к закону Колмогорова, так что ξₙ/(σ/μ) → K(x). Для равномерных шагов σ/μ = 1/√3 ≈ 0,58, для показательных — 1 (тогда Sᵢ/Sₙ — это ровно упорядоченная равномерная выборка, и ξₙ — статистика Колмогорова). Расхождение с K(x): 0,161 — сходимость заметно медленнее, чем у самой статистики Колмогорова.
ProbabilityBasics (приложение П2–П4)
Математическое ожидание как интеграл Лебега
Сумма из определения Mξ (П2): ось значений режется на ступеньки шириной 2⁻ⁿ до высоты n, ξ округляется вниз до ступеньки, а всё, что выше n, считается равным n. С ростом n сумма растёт и подходит к Mξ (пунктир). У |Коши| математического ожидания нет — сумма растёт без предела. Отличие от интеграла Римана: режем не ось аргумента ω, а ось значений ξ — поэтому ω может быть чем угодно, хоть исходами бросков монеты.
Свёртка: закон суммы независимых величин
Закон суммы очков на k кубиках — дискретная свёртка: P(ξ + η = x) = Σ P(ξ = x − y)P(η = y). При k = 2 — «домик» 1, 2, …, 6, …, 1 из 36. Пунктир — нормальная плотность с тем же средним и дисперсией: свёртка «скругляет» законы — это и есть ЦПТ в действии (П6).
Неравенство Чебышёва: граница против правды
Синяя — точная вероятность P(|ξ − Mξ| ≥ kσ), красная — граница Чебышёва 1/k² (П4). Граница верна для любого закона с конечной дисперсией, поэтому грубая: для нормального закона при k = 2 точно 0,046, а граница — 0,25. Но улучшить её нельзя: для закона на трёх точках (±2σ с вероятностью ⅛ каждая, 0 с вероятностью ¾) при k = 2 обе равны ¼.
ConvergenceLab (приложение П5–П6)
Виды сходимости: три контрпримера
«Пишущая машинка»: ξ_n — индикатор отрезка длины 2⁻ᵏ, который пробегает [0, 1] слева направо, затем вдвое короче — снова и т. д. P(ξ_n ≠ 0) = 2⁻ᵏ → 0 (красная): сходимость к 0 по вероятности и в среднем квадратическом. Но при каждом ω отрезок «наезжает» на него в каждом проходе — в точках n = 1, 2, 5, 10, 20, 41, … Последовательность ξ_n(ω) не сходится ни при одном ω: сходимости почти наверное нет.
Закон больших чисел и где он не работает
Бегущее среднее Sₙ/n для 3000 наблюдений: синее — N(0, 1), зелёное — показательный закон со средним 1 (пунктир), красное — закон Коши. По усиленному ЗБЧ (П6) первые два почти наверное сходятся к μ. У Коши μ = MX₁ не существует — и бегущее среднее до конца жизни дёргается от каждого нового «выброса»: Sₙ/n снова имеет закон Коши при любом n.
Скорость сходимости в ЦПТ
Синие точки — точное sup|Fₙ(x) − Φ(x)| для нормированной суммы n слагаемых (для равномерных при n > 12 — по разложению Эджворта). Красная — граница Берри — Эссеена C·M|X − μ|³/(σ³√n) с C = 0,7655 (Шиганов, 1982); пунктир — та же формула с C = 1/√(2π) ≈ 0,399, меньше которой константу сделать нельзя. Обе оси логарифмические: наклон −½ — скорость 1/√n. У бернуллиевских (скачки решётчатого закона) и показательных (асимметрия) слагаемых расстояние честно убывает как 1/√n, а у симметричного равномерного — как 1/n: граница рассчитана на худший случай.
ЦПТ для зависимых слагаемых
Xᵢ = Zᵢ + … + Zᵢ₊ₘ (сумма m + 1 соседних независимых N(0, 1)) — стационарная m-зависимая последовательность: соседи коррелированы, а через m шагов независимы. Гистограмма — Sₙ/√n по 2000 выборкам (n = 200). Синяя — N(0, σ²) по теореме Хефдинга — Робинса, σ² = DX₁ + 2Σcov(X₁, X₁₊ⱼ) = (m + 1)²; серый пунктир — «наивная» N(0, DX₁) = N(0, m + 1), которая забыла про ковариации. Выборочная дисперсия: 4,08 (теория 4).
ConditionalTransform (приложение П7–П8)
Условное математическое ожидание: средние по полосам
1500 точек (η, ξ) двумерного нормального закона с ρ = 0,60; по горизонтали η, по вертикали ξ. Облако режется на вертикальные полосы, в каждой полосе ξ усредняется — красные точки. Это «эмпирическое» M(ξ | η ∈ полоса). Синяя прямая — точное M(ξ | η = y) = ρy (П7, для нормального закона). Чем уже полосы, тем ближе к определению M(ξ | η = y) — и тем меньше точек в полосе, тем больше дрожат средние.
Условное среднее на двух кубиках
Бросаем два кубика: ξ — сумма очков, η — наибольшее из двух. Столбики — M(ξ | η = y), посчитанные по всем 36 равновозможным исходам. M(ξ | η) — случайная величина: она принимает значение M(ξ | η = y) с вероятностью P(η = y) (подписи под столбиками). Её среднее — свойство 1 из П7: M(M(ξ | η)) = Σ M(ξ | η = y)P(η = y) = 7,000 = Mξ = 7.
Преобразование плотности
Гистограмма — 20 000 значений η = φ(ξ); красная кривая — плотность по формуле преобразования (П8) p_η(y) = |J(y)|·p_ξ(φ⁻¹(y)): φ⁻¹(y) = e⁻ʸ, |J| = e⁻ʸ ⇒ p_η(y) = e⁻ʸ. Якобиан J(y) = (φ⁻¹)′(y) показывает, во сколько раз отображение «сжимает» или «растягивает» малый отрезок: где сжимает — плотность растёт.
MultiNormalLab (приложение П9)
Многомерный нормальный закон: эллипсы рассеяния
λ₁ = 2,847, λ₂ = 0,403
det Σ = λ₁λ₂ = 1,148
50 %, 90 %, 99 %
1200 точек N(0, Σ) и линии уровня плотности (ξ)ᵀΣ⁻¹ξ = c, внутри которых лежит 50 %, 90 % и 99 % вероятности. Оси эллипсов — собственные векторы Σ (П10), полуоси — √(λc). Наклон определяется корреляцией: при ρ = 0 оси эллипса параллельны координатным, и компоненты независимы — для нормального вектора некоррелированность равносильна независимости (П9).
Характеристические функции
ψ(t) = M e^(itξ) = M cos(tξ) + i·M sin(tξ). Тонкие линии — эмпирическая х. ф. (1/n)Σe^(itXⱼ) по выборке: синяя — действительная часть, зелёная — мнимая. Пунктир — теория. У симметричных законов мнимая часть равна нулю. ψ(0) = 1, |ψ(t)| ≤ 1 (свойство 1). У Коши ψ(t) = e^(−|t|) не дифференцируема в нуле — у закона нет даже первого момента (свойство 4: моменты ↔ производные в нуле).
Нормальные компоненты, но не нормальный вектор
Пример из П9: ξ, η ~ N(0, 1) независимы; ξ′ = ξ, а η′ = |η| со знаком ξ. Каждая компонента — стандартная нормальная (у η′ среднее 0,006, дисперсия 1,079), но точки живут только в I и III четвертях: плотность пары равна удвоенной нормальной там и нулю во II и IV. Такого облака у двумерного нормального закона не бывает. Корреляция 0,662 (точно 2/π ≈ 0,637). Мораль: нормальность каждой компоненты не делает вектор нормальным — нужна нормальность всех линейных комбинаций.
Квадратичная форма нормального вектора — хи-квадрат
2000 векторов ξ ~ N(0, Σ) с текущей Σ; для каждого считаем ξᵀΣ⁻¹ξ. Синяя ступенька — эмпирическая функция распределения этих чисел, красный пунктир — функция распределения χ²₂. Совпадают при любых σ₁, σ₂, ρ: ξ = Σ^(1/2)ζ с независимыми N(0, 1) компонентами ζ, и ξᵀΣ⁻¹ξ = ζᵀζ = ζ₁² + ζ₂² (П9). На этом факте стоят критерии гл. 18 и 23.
MatrixLab (приложение П10)
Симметричная матрица: главные оси
λ₁ = 5,562, λ₂ = 1,438
e₁ = (0,788; 0,615), e₂ = (0,615; −0,788)
tr A = 7,000 = λ₁ + λ₂; det A = 8,000 = λ₁λ₂
главные миноры: D₁ = 4,000, D₂ = 8,000 → положительно определена
Серая окружность — все единичные векторы x; синяя кривая — их образы Ax. Для симметричной A это эллипс, а его оси — собственные векторы eᵢ (красный и зелёный): A их только растягивает, Aeᵢ = λᵢeᵢ. Теорема о приведении к главным осям (П10): CᵀAC = Λ, где столбцы ортогональной C — векторы eᵢ. Если одно λ отрицательно, эллипс «выворачивается» через ноль; если λ = 0, он схлопывается в отрезок — матрица вырождена.
Корни из матрицы: Холецкий и симметричный
U = [2,000; 1,000 | 0,000; 1,414] (u₁₁ = √a₁₁, u₁₂ = a₁₂/u₁₁, u₂₂ = √(a₂₂ − u₁₂²))
UᵀU = [4,000; 2,000 | 2,000; 3,000]
A^(1/2) = [1,919; 0,562 | 0,562; 1,638]; A^(1/2)·A^(1/2) = [4,000; 2,000 | 2,000; 3,000]
tr U = 3,414 ≤ tr A^(1/2) = 3,558 (у симметричного корня след наибольший)
Для положительно определённой A два «квадратных корня»: верхнетреугольная U с UᵀU = A (метод Холецкого — квадратных корней, формулы в П10) и симметричная A^(1/2) = CΛ^(1/2)Cᵀ. Любая X = CU с ортогональной C тоже даёт XᵀX = A, но симметричная среди них одна. Холецкий нужен, чтобы получать нормальные векторы с заданной ковариацией: ξ = μ + Uᵀζ (так устроен датчик в виджете «Эллипсы N(μ, Σ)»).
Обобщённая задача на собственные значения
λ₁ = 3,094, λ₂ = 1,478; Σλ = 4,571
D = [0,182; 0,734 | 0,879; −0,608]
DᵀAD = [3,094; 0,000 | 0,000; 1,478]
DᵀBD = [1,000; 0,000 | 0,000; 1,000]
Обобщённая проблема собственных значений (П10): для неотрицательно определённой A и положительно определённой B найдётся D с DᵀAD = Λ и DᵀBD = E — одна замена координат одновременно делает B единичной, а A диагональной. Строится как D = B^(−1/2)C, где C приводит S = B^(−1/2)AB^(−1/2) к главным осям. λᵢ — корни det(A − λB) = 0, и tr(AB⁻¹) = Σλᵢ. Это ядро дискриминантного анализа (гл. 19) и критерия Уилкса.
StatTables (приложение, таблицы)
Таблица 1. Случайные числа
| 1 | 10 | 09 | 73 | 25 | 33 | 76 | 52 | 01 | 35 | 86 | 34 | 67 | 35 | 48 | 76 |
| 2 | 37 | 54 | 20 | 48 | 05 | 64 | 89 | 47 | 42 | 96 | 24 | 80 | 52 | 40 | 37 |
| 3 | 08 | 42 | 26 | 89 | 53 | 19 | 64 | 50 | 93 | 03 | 23 | 20 | 90 | 25 | 60 |
| 4 | 99 | 01 | 90 | 25 | 29 | 09 | 37 | 67 | 07 | 15 | 38 | 31 | 13 | 11 | 65 |
| 5 | 12 | 80 | 79 | 99 | 70 | 80 | 15 | 73 | 61 | 47 | 64 | 03 | 23 | 66 | 53 |
| 6 | 66 | 06 | 57 | 47 | 17 | 34 | 07 | 27 | 68 | 50 | 36 | 69 | 73 | 61 | 70 |
| 7 | 31 | 06 | 01 | 08 | 05 | 45 | 57 | 18 | 24 | 06 | 35 | 30 | 34 | 26 | 14 |
| 8 | 85 | 26 | 97 | 76 | 02 | 02 | 05 | 16 | 56 | 92 | 68 | 66 | 57 | 48 | 18 |
| 9 | 63 | 57 | 33 | 21 | 35 | 05 | 32 | 54 | 70 | 48 | 90 | 55 | 35 | 75 | 48 |
| 10 | 73 | 79 | 64 | 57 | 53 | 03 | 52 | 96 | 47 | 78 | 35 | 80 | 83 | 42 | 82 |
| 11 | 98 | 52 | 01 | 77 | 67 | 14 | 90 | 56 | 86 | 07 | 22 | 10 | 94 | 05 | 58 |
| 12 | 11 | 80 | 50 | 54 | 31 | 39 | 80 | 82 | 77 | 32 | 50 | 72 | 56 | 82 | 48 |
| 13 | 83 | 45 | 29 | 96 | 34 | 06 | 28 | 89 | 80 | 83 | 13 | 74 | 67 | 00 | 78 |
| 14 | 88 | 68 | 54 | 02 | 00 | 86 | 50 | 75 | 84 | 01 | 36 | 76 | 66 | 79 | 51 |
| 15 | 99 | 59 | 46 | 73 | 48 | 87 | 51 | 76 | 49 | 69 | 91 | 82 | 60 | 89 | 28 |
| 16 | 65 | 48 | 11 | 76 | 74 | 17 | 46 | 85 | 09 | 50 | 58 | 04 | 77 | 69 | 74 |
| 17 | 80 | 12 | 43 | 56 | 35 | 17 | 72 | 70 | 80 | 15 | 45 | 31 | 82 | 23 | 74 |
| 18 | 74 | 35 | 09 | 98 | 17 | 77 | 40 | 27 | 72 | 14 | 43 | 23 | 60 | 02 | 10 |
| 19 | 69 | 91 | 62 | 68 | 03 | 66 | 25 | 22 | 91 | 48 | 36 | 93 | 68 | 72 | 03 |
| 20 | 09 | 89 | 32 | 05 | 05 | 14 | 22 | 56 | 85 | 14 | 46 | 42 | 75 | 67 | 88 |
| −1,75 | −0,33 | −1,26 | 0,32 | 1,53 | 0,35 | −0,96 | −0,06 | 0,42 | −1,08 |
| −0,29 | 0,09 | 1,70 | −1,09 | −0,44 | −0,29 | 0,25 | −0,54 | −1,38 | 0,32 |
| −0,93 | 0,13 | 0,63 | 0,90 | 1,41 | −0,88 | −0,10 | 0,23 | 0,13 | 0,37 |
| −0,45 | −0,24 | 0,07 | 1,03 | 1,73 | −0,06 | −1,49 | −0,08 | −2,36 | −0,99 |
| 0,51 | −0,88 | 0,49 | −1,30 | −0,27 | 0,76 | −0,36 | 0,19 | −1,08 | 0,53 |
T1: фрагменты таблиц случайных чисел — равномерно распределённые двузначные числа 00–99 и нормально распределённые N(0, 1) с двумя знаками. По ним в книге моделируются выборки (например, в примере 2 гл. 24 разбиение на подгруппы начинается с чисел 10, 09, 73, 25 первой строки и 37, 54 второй). Кнопка «Новая таблица» заполняет ту же сетку датчиком createRng — так делают сейчас вместо печатных таблиц (гл. 2).
Таблица 2. Хвост нормального закона
| x | 0,00 | 0,01 | 0,02 | 0,03 | 0,04 | 0,05 | 0,06 | 0,07 | 0,08 | 0,09 |
|---|---|---|---|---|---|---|---|---|---|---|
| 0,0 | 0,500 | 0,496 | 0,492 | 0,488 | 0,484 | 0,480 | 0,476 | 0,472 | 0,468 | 0,464 |
| 0,1 | 0,460 | 0,456 | 0,452 | 0,448 | 0,444 | 0,440 | 0,436 | 0,433 | 0,429 | 0,425 |
| 0,2 | 0,421 | 0,417 | 0,413 | 0,409 | 0,405 | 0,401 | 0,397 | 0,394 | 0,390 | 0,386 |
| 0,3 | 0,382 | 0,378 | 0,374 | 0,371 | 0,367 | 0,363 | 0,359 | 0,356 | 0,352 | 0,348 |
| 0,4 | 0,345 | 0,341 | 0,337 | 0,334 | 0,330 | 0,326 | 0,323 | 0,319 | 0,316 | 0,312 |
| 0,5 | 0,309 | 0,305 | 0,302 | 0,298 | 0,295 | 0,291 | 0,288 | 0,284 | 0,281 | 0,278 |
| 0,6 | 0,274 | 0,271 | 0,268 | 0,264 | 0,261 | 0,258 | 0,255 | 0,251 | 0,248 | 0,245 |
| 0,7 | 0,242 | 0,239 | 0,236 | 0,233 | 0,230 | 0,227 | 0,224 | 0,221 | 0,218 | 0,215 |
| 0,8 | 0,212 | 0,209 | 0,206 | 0,203 | 0,200 | 0,198 | 0,195 | 0,192 | 0,189 | 0,187 |
| 0,9 | 0,184 | 0,181 | 0,179 | 0,176 | 0,174 | 0,171 | 0,169 | 0,166 | 0,164 | 0,161 |
| 1,0 | 0,159 | 0,156 | 0,154 | 0,152 | 0,149 | 0,147 | 0,145 | 0,142 | 0,140 | 0,138 |
| 1,1 | 0,136 | 0,133 | 0,131 | 0,129 | 0,127 | 0,125 | 0,123 | 0,121 | 0,119 | 0,117 |
| 1,2 | 0,115 | 0,113 | 0,111 | 0,109 | 0,107 | 0,106 | 0,104 | 0,102 | 0,100 | 0,099 |
| 1,3 | 0,097 | 0,095 | 0,093 | 0,092 | 0,090 | 0,089 | 0,087 | 0,085 | 0,084 | 0,082 |
| 1,4 | 0,081 | 0,079 | 0,078 | 0,076 | 0,075 | 0,074 | 0,072 | 0,071 | 0,069 | 0,068 |
| 1,5 | 0,067 | 0,066 | 0,064 | 0,063 | 0,062 | 0,061 | 0,059 | 0,058 | 0,057 | 0,056 |
| 1,6 | 0,055 | 0,054 | 0,053 | 0,052 | 0,051 | 0,049 | 0,048 | 0,047 | 0,046 | 0,046 |
| 1,7 | 0,045 | 0,044 | 0,043 | 0,042 | 0,041 | 0,040 | 0,039 | 0,038 | 0,038 | 0,037 |
| 1,8 | 0,036 | 0,035 | 0,034 | 0,034 | 0,033 | 0,032 | 0,031 | 0,031 | 0,030 | 0,029 |
| 1,9 | 0,029 | 0,028 | 0,027 | 0,027 | 0,026 | 0,026 | 0,025 | 0,024 | 0,024 | 0,023 |
| 2,0 | 0,023 | 0,022 | 0,022 | 0,021 | 0,021 | 0,020 | 0,020 | 0,019 | 0,019 | 0,018 |
| 2,1 | 0,018 | 0,017 | 0,017 | 0,017 | 0,016 | 0,016 | 0,015 | 0,015 | 0,015 | 0,014 |
| 2,2 | 0,014 | 0,014 | 0,013 | 0,013 | 0,013 | 0,012 | 0,012 | 0,012 | 0,011 | 0,011 |
| 2,3 | 0,011 | 0,010 | 0,010 | 0,010 | 0,010 | 0,009 | 0,009 | 0,009 | 0,009 | 0,008 |
| 2,4 | 0,008 | 0,008 | 0,008 | 0,008 | 0,007 | 0,007 | 0,007 | 0,007 | 0,007 | 0,006 |
| 2,5 | 0,006 | 0,006 | 0,006 | 0,006 | 0,006 | 0,005 | 0,005 | 0,005 | 0,005 | 0,005 |
| 2,6 | 0,005 | 0,005 | 0,004 | 0,004 | 0,004 | 0,004 | 0,004 | 0,004 | 0,004 | 0,004 |
| 2,7 | 0,003 | 0,003 | 0,003 | 0,003 | 0,003 | 0,003 | 0,003 | 0,003 | 0,003 | 0,003 |
| 2,8 | 0,003 | 0,002 | 0,002 | 0,002 | 0,002 | 0,002 | 0,002 | 0,002 | 0,002 | 0,002 |
| 2,9 | 0,002 | 0,002 | 0,002 | 0,002 | 0,002 | 0,002 | 0,002 | 0,001 | 0,001 | 0,001 |
| 3,0 | 0,001 | 0,001 | 0,001 | 0,001 | 0,001 | 0,001 | 0,001 | 0,001 | 0,001 | 0,001 |
T2: y = 1 − Φ(x) — вероятность верхнего «хвоста» стандартного нормального закона. Строка — целые и десятые x, столбец — сотые. Двусторонний уровень вдвое больше: P(|Z| ≥ x) = 2(1 − Φ(x)). Обратная задача — квантиль x_p = Φ⁻¹(p): x₀,₉₅ = 1,645, x₀,₉₇₅ = 1,960, x₀,₉₉₅ = 2,576. Ползунок даёт хвост для любого x, в том числе далеко за краем книжной таблицы.
Таблица 3. Квантили χ² с k степенями свободы
| k | 0,900 | 0,950 | 0,975 | 0,990 | 0,995 | 0,999 |
|---|---|---|---|---|---|---|
| 1 | 2,71 | 3,84 | 5,02 | 6,63 | 7,88 | 10,83 |
| 2 | 4,61 | 5,99 | 7,38 | 9,21 | 10,60 | 13,82 |
| 3 | 6,25 | 7,81 | 9,35 | 11,34 | 12,84 | 16,27 |
| 4 | 7,78 | 9,49 | 11,14 | 13,28 | 14,86 | 18,47 |
| 5 | 9,24 | 11,07 | 12,83 | 15,09 | 16,75 | 20,52 |
| 6 | 10,64 | 12,59 | 14,45 | 16,81 | 18,55 | 22,46 |
| 7 | 12,02 | 14,07 | 16,01 | 18,48 | 20,28 | 24,32 |
| 8 | 13,36 | 15,51 | 17,53 | 20,09 | 21,95 | 26,12 |
| 9 | 14,68 | 16,92 | 19,02 | 21,67 | 23,59 | 27,88 |
| 10 | 15,99 | 18,31 | 20,48 | 23,21 | 25,19 | 29,59 |
| 12 | 18,55 | 21,03 | 23,34 | 26,22 | 28,30 | 32,91 |
| 15 | 22,31 | 25,00 | 27,49 | 30,58 | 32,80 | 37,70 |
| 20 | 28,41 | 31,41 | 34,17 | 37,57 | 40,00 | 45,31 |
| 25 | 34,38 | 37,65 | 40,65 | 44,31 | 46,93 | 52,62 |
| 30 | 40,26 | 43,77 | 46,98 | 50,89 | 53,67 | 59,70 |
| 40 | 51,8 | 55,8 | 59,3 | 63,7 | 66,8 | 73,4 |
| 60 | 74,4 | 79,1 | 83,3 | 88,4 | 92,0 | 99,6 |
| 120 | 140,2 | 146,6 | 152,2 | 159,0 | 163,6 | 173,6 |
p-квантиль y_p: P(ξ ≤ y_p) = p. При больших k удобно приближение Уилсона — Хилферти: y_p ≈ k(1 − 2/(9k) + x_p√(2/(9k)))³. В отличие от книжной таблицы, здесь годятся любые p и k: квантиль считается обращением функции распределения.
Таблица 4. Квантили распределения Стьюдента
| k | 0,900 | 0,950 | 0,975 | 0,990 | 0,995 | 0,999 |
|---|---|---|---|---|---|---|
| 1 | 3,08 | 6,31 | 12,71 | 31,82 | 63,66 | 318,31 |
| 2 | 1,89 | 2,92 | 4,30 | 6,96 | 9,92 | 22,33 |
| 3 | 1,64 | 2,35 | 3,18 | 4,54 | 5,84 | 10,21 |
| 4 | 1,53 | 2,13 | 2,78 | 3,75 | 4,60 | 7,17 |
| 5 | 1,48 | 2,02 | 2,57 | 3,36 | 4,03 | 5,89 |
| 6 | 1,44 | 1,94 | 2,45 | 3,14 | 3,71 | 5,21 |
| 7 | 1,41 | 1,89 | 2,36 | 3,00 | 3,50 | 4,79 |
| 8 | 1,40 | 1,86 | 2,31 | 2,90 | 3,36 | 4,50 |
| 9 | 1,38 | 1,83 | 2,26 | 2,82 | 3,25 | 4,30 |
| 10 | 1,37 | 1,81 | 2,23 | 2,76 | 3,17 | 4,14 |
| 12 | 1,36 | 1,78 | 2,18 | 2,68 | 3,05 | 3,93 |
| 15 | 1,34 | 1,75 | 2,13 | 2,60 | 2,95 | 3,73 |
| 20 | 1,33 | 1,72 | 2,09 | 2,53 | 2,85 | 3,55 |
| 25 | 1,32 | 1,71 | 2,06 | 2,49 | 2,79 | 3,45 |
| 30 | 1,31 | 1,70 | 2,04 | 2,46 | 2,75 | 3,39 |
| 40 | 1,30 | 1,68 | 2,02 | 2,42 | 2,70 | 3,31 |
| 60 | 1,30 | 1,67 | 2,00 | 2,39 | 2,66 | 3,23 |
| 120 | 1,29 | 1,66 | 1,98 | 2,36 | 2,62 | 3,16 |
p-квантиль y_p: P(ξ ≤ y_p) = p. Распределение Стьюдента симметрично: y₁₋ₚ = −y_p; двусторонний интервал уровня 0,95 берёт y₀,₉₇₅. При k → ∞ квантили стремятся к нормальным (1,645; 1,960; 2,326; 2,576). В отличие от книжной таблицы, здесь годятся любые p и k: квантиль считается обращением функции распределения.
Таблица 5. Квантили распределения Фишера — Снедекора
| k₁ | 0,900 | 0,950 | 0,975 | 0,990 | 0,995 | 0,999 |
|---|---|---|---|---|---|---|
| 1 | 2,97 | 4,35 | 5,87 | 8,10 | 9,94 | 14,82 |
| 2 | 2,59 | 3,49 | 4,46 | 5,85 | 6,99 | 9,95 |
| 3 | 2,38 | 3,10 | 3,86 | 4,94 | 5,82 | 8,10 |
| 4 | 2,25 | 2,87 | 3,51 | 4,43 | 5,17 | 7,10 |
| 5 | 2,16 | 2,71 | 3,29 | 4,10 | 4,76 | 6,46 |
| 6 | 2,09 | 2,60 | 3,13 | 3,87 | 4,47 | 6,02 |
| 7 | 2,04 | 2,51 | 3,01 | 3,70 | 4,26 | 5,69 |
| 8 | 2,00 | 2,45 | 2,91 | 3,56 | 4,09 | 5,44 |
| 9 | 1,96 | 2,39 | 2,84 | 3,46 | 3,96 | 5,24 |
| 10 | 1,94 | 2,35 | 2,77 | 3,37 | 3,85 | 5,08 |
| 12 | 1,89 | 2,28 | 2,68 | 3,23 | 3,68 | 4,82 |
| 15 | 1,84 | 2,20 | 2,57 | 3,09 | 3,50 | 4,56 |
| 20 | 1,79 | 2,12 | 2,46 | 2,94 | 3,32 | 4,29 |
| 25 | 1,76 | 2,07 | 2,40 | 2,84 | 3,20 | 4,12 |
| 30 | 1,74 | 2,04 | 2,35 | 2,78 | 3,12 | 4,00 |
| 40 | 1,71 | 1,99 | 2,29 | 2,69 | 3,02 | 3,86 |
| 60 | 1,68 | 1,95 | 2,22 | 2,61 | 2,92 | 3,70 |
| 120 | 1,64 | 1,90 | 2,16 | 2,52 | 2,81 | 3,54 |
p-квантиль y_p: P(ξ ≤ y_p) = p. Нижние квантили — из соотношения v₁₋ₚ(k₁, k₂) = 1/v_p(k₂, k₁) (как в книге). Таблица снизу — для текущего k₂. В отличие от книжной таблицы, здесь годятся любые p и k: квантиль считается обращением функции распределения.
Таблица 7. Критические значения коэффициента Спирмена
| p | 0,100 | 0,050 | 0,025 | 0,010 | 0,005 | 0,001 |
|---|---|---|---|---|---|---|
| книга, k = 8 | 0,524 | 0,643 | 0,738 | 0,833 | 0,881 | 0,952 |
| перебор | 0,524 | 0,643 | 0,738 | 0,833 | 0,881 | 0,952 |
T7: односторонние критические значения r_p коэффициента Спирмена: P(ρ_S ≥ r_p) = p при независимости, k — размер выборки. Двусторонний уровень — 2p (закон ρ_S симметричен). Пустая клетка — уровень недостижим при таком k. Для k ≤ 9 снизу — проверка точным перебором всех k! перестановок (функция из гл. 20): совпадает с книгой, только в двух клетках книга пустая, хотя уровень достижим — при k = 4, p = 0,05 и при k = 5, p = 0,01 (P(ρ_S = 1) = 1/24 ≈ 0,042 и 1/120 ≈ 0,008); они выделены цветом. В тексте §7 гл. 20 эта таблица названа T6 — в книге она под номером 7, а таблицы 6 нет.
Ниже — тестовый исполняемый блок Python (Pyodide в браузере). Нажми Run: при первом запуске подтянется среда, затем выполнится код.