§5. Функционалы качества разбиения

Материал этого параграфа довольно сложен.

— пометка на полях у Лагутина

Будем считать, что число классов $k$ задано (случай, когда оно неизвестно, обсуждается в §6). Пусть $n_l$ обозначает количество объектов ($m$-мерных точек $\boldsymbol x_i$, $i = 1, \dots, n$) в классе $S_l$, $l = 1, \dots, k$.

Инерция: общая, внутри- и межклассовая

При разбиении на классы типа «класс с центром» (C4 из §1) в основе многих характеристик качества разбиения лежит формула

• Слева стоит $V_{tot}$ — момент инерции относительно общего центра масс $\bar{\boldsymbol x}$ всех объектов.
• Первое слагаемое справа, $V_{int}$, — сумма моментов инерции $I_l$ классов $S_l$ относительно их центров масс $\bar{\boldsymbol x}_l$.
• Второе слагаемое, $V_{out}$, характеризует межклассовый разброс: это момент инерции системы, у которой точки каждого класса стянуты в его центр масс.

Формула (6) немедленно вытекает из её одномерного аналога (13) в главе 16.

Смысл по-пацански: общий разброс = разброс внутри компаний + разброс между компаниями. Хорошее разбиение — когда почти весь разброс «между», а внутри тесно.

Перечислим некоторые функционалы качества $F$, определённые на множестве всевозможных разбиений $S$ объектов на $k$ классов (чем $F(S)$ меньше, тем разбиение $S$ лучше).

$F1 = \sum_{l=1}^kI_l \equiv V_{int}$ — общая внутриклассовая инерция.

Замечание 5. Как следует из замечания 1 в §3, метод Уорда обеспечивает наименьшее увеличение функционала $F1$ при каждом шаге процедуры. Однако эта пошаговая оптимальность алгоритма, вообще говоря, не влечёт его оптимальности в том же смысле для любого наперёд заданного числа классов.

$F2 = \sum_{l=1}^k\frac1{n_l}I_l$ — сумма внутриклассовых дисперсий.

Основной результат Дж. Мак-Кина (1967 г.) состоит в доказательстве того, что его вариант алгоритма k-средних (A3 в §2) приводит к локальному минимуму функционала $F2$. Точную минимизацию $F2$ с использованием динамического программирования осуществил Р. Дженсен в 1969 г.

$F3 = \sum_{l=1}^k\sum_{\boldsymbol x_i, \boldsymbol x_j \in S_l}|\boldsymbol x_i - \boldsymbol x_j|^2 = 2\sum_{l=1}^kn_lI_l$. Последнее равенство справедливо в силу теоремы о межточечных расстояниях (см. решение задачи 5 главы 16).

$F4 = \Bigl[\frac1{n - k}V_{int}\Bigr]\Big/\Bigl[\frac1{k - 1}V_{out}\Bigr]$ — сравните с формулой (9) главы 16: это перевёрнутая статистика F-критерия однофакторного дисперсионного анализа.

Смысл по-пацански: $F1$–$F4$ — четыре способа сказать «внутри компаний тесно». $F1$ считает весь разброс внутри разом. $F2$ — средний разброс на одного члена компании, так что большая компания не наказывается просто за то, что большая. $F3$ меряет все внутренние расстояния попарно, каждый с каждым. $F4$ сравнивает «внутри» с «между» по-честному, со степенями свободы, как в дисперсионном анализе.

Матрицы рассеяния

Ряд функционалов качества разбиения связан с обобщающим формулу (6) матричным тождеством (задача 2)

Здесь:

• $\boldsymbol W_{tot} = \sum_{i=1}^n(\boldsymbol x_i - \bar{\boldsymbol x})(\boldsymbol x_i - \bar{\boldsymbol x})^T$ — общая матрица рассеяния;
• $\boldsymbol W_{int}$ — матрица внутриклассового разброса: $\boldsymbol W_{int} = \sum_{l=1}^k\boldsymbol W_l$, где $\boldsymbol W_l = \sum_{\boldsymbol x_i \in S_l}(\boldsymbol x_i - \bar{\boldsymbol x}_l)(\boldsymbol x_i - \bar{\boldsymbol x}_l)^T$ — матрица рассеяния $l$-го класса;
• $\boldsymbol W_{out} = \sum_{l=1}^kn_l(\bar{\boldsymbol x}_l - \bar{\boldsymbol x})(\bar{\boldsymbol x}_l - \bar{\boldsymbol x})^T$ — матрица разброса между классами.

Формула (6) получается из тождества (7) применением к участвующим в нём матрицам операции взятия следа (см. П10). В частности:

• $F1 = V_{int} = \operatorname{tr}\boldsymbol W_{int}$;
• $F5 = \det\boldsymbol W_{int}$;
• $F6 = \operatorname{tr}\bigl(\boldsymbol W_{int}\boldsymbol W_{tot}^{-1}\bigr)$;
• $F7 = \det\bigl(\boldsymbol W_{int}\boldsymbol W_{tot}^{-1}\bigr) = \det\boldsymbol W_{int}/\det\boldsymbol W_{tot}$.

Функционалы $F6$–$F7$ изучались Х. Фридманом и Дж. Рубином в 1967 г. Они инвариантны по отношению к невырожденным линейным преобразованиям координат объектов. Действительно, если $\tilde{\boldsymbol x}_i = \boldsymbol B\boldsymbol x_i$, где $\boldsymbol B$ — невырожденная $(m \times m)$-матрица, то $\tilde{\boldsymbol W}_{int} = \boldsymbol B\boldsymbol W_{int}\boldsymbol B^T$ и $\tilde{\boldsymbol W}_{tot} = \boldsymbol B\boldsymbol W_{tot}\boldsymbol B^T$ (см. свойство 5 дисперсии и ковариации из П2). При этом матрица

подобна матрице $\boldsymbol W_{int}\boldsymbol W_{tot}^{-1}$, поэтому согласно следствию 2 из П10 у них одинаковые следы и определители.

Смысл по-пацански: $F7$ не волнует, в каких единицах мерить признаки и как их смешивать линейно — хоть в фунтах, хоть в попугаях. Проблема нормировки из §1 для него просто исчезает.

Пример 2. ОМП для многомерной нормальной модели

В целях последующего применения к задаче классификации нормальных совокупностей (пример 3) рассмотрим оценки максимального правдоподобия для параметров многомерной нормальной модели.

Предположим, что случайные $m$-мерные векторы $\boldsymbol\xi_i \sim \mathcal N(\boldsymbol\mu, \boldsymbol\Sigma)$ (см. П9) и независимы ($i = 1, \dots, n$). Пусть вектор средних $\boldsymbol\mu = (\mu_1, \dots, \mu_m)$ и невырожденная ковариационная $(m \times m)$-матрица $\boldsymbol\Sigma$ неизвестны, $\boldsymbol\theta = (\boldsymbol\mu, \boldsymbol\Sigma)$. Общее количество неизвестных параметров с учётом симметричности $\boldsymbol\Sigma$ равно $m + m(m + 1)/2$. Согласно П9 плотность случайного вектора $\boldsymbol\xi_i$ задаётся формулой

В силу независимости логарифм функции правдоподобия (§4 главы 9) имеет вид

Максимизация $L(\boldsymbol\theta)$ эквивалентна минимизации выражения в квадратных скобках. Положим $\bar{\boldsymbol x} = (\boldsymbol x_1 + \dots + \boldsymbol x_n)/n$ и разобьём сумму в (9) на два слагаемых на основе тождества, обобщающего теорему Гюйгенса (задача 3):

По кирпичикам: (10) — та же теорема Гюйгенса, только расстояния меряются «линейкой» $\boldsymbol\Sigma^{-1}$. Сумма квадратов отклонений от любой точки $\boldsymbol\mu$ равна сумме отклонений от центра масс $\bar{\boldsymbol x}$ плюс $n$ × квадрат расстояния между $\boldsymbol\mu$ и $\bar{\boldsymbol x}$. Перекрёстное слагаемое исчезает, потому что $\sum(\boldsymbol x_i - \bar{\boldsymbol x}) = \boldsymbol 0$.

Первое слагаемое неотрицательно для любой $\boldsymbol\Sigma$ в силу положительной определённости матрицы $\boldsymbol\Sigma^{-1}$ (почему она положительно определена — вопрос 6) и равно 0 только при $\boldsymbol\mu = \bar{\boldsymbol x}$. Второе слагаемое от $\boldsymbol\mu$ не зависит. Следовательно, достаточно минимизировать по $\boldsymbol\Sigma$ выражение

Введём выборочную ковариационную матрицу

На основе легко проверяемого тождества $\boldsymbol y^T\boldsymbol B\boldsymbol y = \operatorname{tr}(\boldsymbol y\boldsymbol y^T\boldsymbol B)$ и линейности оператора $\operatorname{tr}$ получаем

По кирпичикам: $\boldsymbol y^T\boldsymbol B\boldsymbol y$ — это число, а след числа равен ему самому. Значит, $\boldsymbol y^T\boldsymbol B\boldsymbol y = \operatorname{tr}(\boldsymbol y^T\boldsymbol B\boldsymbol y) = \operatorname{tr}(\boldsymbol y\boldsymbol y^T\boldsymbol B)$ (под следом множители можно циклически переставлять). Складываем по $i$ с $\boldsymbol y = \boldsymbol x_i - \bar{\boldsymbol x}$ и $\boldsymbol B = \boldsymbol\Sigma^{-1}$: сумма $\sum(\boldsymbol x_i - \bar{\boldsymbol x})(\boldsymbol x_i - \bar{\boldsymbol x})^T$ — это ровно $n\hat{\boldsymbol\Sigma}$.

Учитывая формулу (13), выражение (11) можно переписать в виде

Минимизация суммы (14) по $\boldsymbol\Sigma$ эквивалентна минимизации функции

(постоянные $m$ и $\ln\det\hat{\boldsymbol\Sigma}$ добавлены для дальнейших преобразований).

Так как $\hat{\boldsymbol\Sigma}$ и $\boldsymbol\Sigma$ — ковариационные матрицы, то (согласно замечанию из П10) они неотрицательно определены, а $\boldsymbol\Sigma$ даже положительно определена в силу невырожденности. Обозначим через $\lambda_1 \ge \lambda_2 \ge \dots \ge \lambda_m \ge 0$ собственные значения пары матриц $(\hat{\boldsymbol\Sigma}, \boldsymbol\Sigma)$, то есть решения характеристического уравнения $\det(\hat{\boldsymbol\Sigma}\boldsymbol\Sigma^{-1} - \lambda\boldsymbol E) = 0$ (см. П10). Тогда

Поскольку $\lambda - 1 - \ln\lambda \ge 0$ при $\lambda \ge 0$, из последнего соотношения получаем, что $\psi(\boldsymbol\Sigma) \ge 0$. Равенство имеет место только при $\lambda_1 = \dots = \lambda_m = 1$, то есть для $\boldsymbol\Sigma = \hat{\boldsymbol\Sigma}$ (почему — вопрос 7).

Смысл по-пацански: функция $\lambda - 1 - \ln\lambda$ — это «яма» с дном ровно в $\lambda = 1$. Каждое собственное значение $\lambda_l$ показывает, во сколько раз «подозреваемая» $\boldsymbol\Sigma$ ошибается против выборочной $\hat{\boldsymbol\Sigma}$ вдоль своей оси. Ошиблась в любую сторону — штраф. Штраф ноль только тогда, когда ошибок нет ни по одной оси, то есть когда $\boldsymbol\Sigma$ и есть $\hat{\boldsymbol\Sigma}$.

Таким образом, оценками максимального правдоподобия параметров $\boldsymbol\mu$ и $\boldsymbol\Sigma$ являются, соответственно, статистики $\bar{\boldsymbol x}$ и $\hat{\boldsymbol\Sigma}$.

Смысл по-пацански: как и в одномерье, ОМП для среднего — выборочное среднее, для ковариаций — выборочная ковариационная матрица с делителем $n$ (не $n - 1$). Вся матричная акробатика нужна только чтобы честно это доказать.

Пример 3. Нормальные наблюдения и функционалы качества

Предположим, что каждое наблюдение $\boldsymbol\xi_i$ ($i = 1, \dots, n$) извлечено из одного из $k$ нормальных законов $\mathcal N(\boldsymbol\mu_l, \boldsymbol\Sigma_l)$ ($l = 1, \dots, k$). При этом $\boldsymbol\mu_l$ и $\boldsymbol\Sigma_l$, вообще говоря, неизвестны. Задача исследователя — определить, какие $n_1$ из $n$ наблюдений извлечены из класса $\mathcal N(\boldsymbol\mu_1, \boldsymbol\Sigma_1)$, какие $n_2$ — из $\mathcal N(\boldsymbol\mu_2, \boldsymbol\Sigma_2)$ и т. д. Числа $n_l$ в общем случае также неизвестны.

Введём векторный параметр разбиения $\boldsymbol\gamma = (\gamma_1, \dots, \gamma_n)$, где $\gamma_i$ — номер класса (от 1 до $k$), к которому относится наблюдение $\boldsymbol\xi_i$. Тогда задачу разбиения на классы можно сформулировать как задачу оценивания неизвестных параметров $\gamma_1, \dots, \gamma_n$ при «мешающих» неизвестных параметрах $\boldsymbol\mu_l$ и $\boldsymbol\Sigma_l$. Обозначим весь набор неизвестных параметров через $\boldsymbol\theta = (\boldsymbol\gamma, \boldsymbol\mu_1, \dots, \boldsymbol\mu_k, \boldsymbol\Sigma_1, \dots, \boldsymbol\Sigma_k)$. Тогда логарифм функции правдоподобия (см. формулу (9)) будет равен, с точностью до сдвига на константу, величине

Максимизируем выражение (15) по $\boldsymbol\theta$. Оговоримся сразу, что состоятельность оценки $\hat{\boldsymbol\theta}$ остаётся под сомнением, поскольку размерность вектора $\boldsymbol\theta$ превосходит общее число наблюдений $n$.

Смысл по-пацански: у каждого объекта свой неизвестный номер класса $\gamma_i$, а сверху ещё средние и ковариации. Неизвестных больше, чем наблюдений, — как угадывать пароль, в котором символов больше, чем у тебя попыток. Метод работает и даёт разумные разбиения, но гарантии «с ростом $n$ всё сойдётся» здесь нет: каждый новый объект приносит и новое неизвестное.

Рассуждения, аналогичные проведённым в примере 2, показывают, что оценками максимального правдоподобия для параметров $\boldsymbol\mu_l$ при фиксированных $\boldsymbol\gamma, \boldsymbol\Sigma_1, \dots, \boldsymbol\Sigma_k$ являются центры масс классов $\bar{\boldsymbol x}_l = \bar{\boldsymbol x}_l(\boldsymbol\gamma) = \frac1{n_l}\sum_{\boldsymbol x_i \in S_l(\boldsymbol\gamma)}\boldsymbol x_i$. Подставляя их в (15) и учитывая тождество (10), получаем, что достаточно минимизировать по $\boldsymbol\Sigma_1, \dots, \boldsymbol\Sigma_k$ и $\boldsymbol\gamma$ функцию

которая, принимая во внимание равенства (12) и (13), совпадает с

где $\hat{\boldsymbol\Sigma}_l = \frac1{n_l}\sum_{\boldsymbol x_i \in S_l}(\boldsymbol x_i - \bar{\boldsymbol x}_l)(\boldsymbol x_i - \bar{\boldsymbol x}_l)^T$ — выборочная ковариационная матрица класса $S_l$. Отметим, что $\hat{\boldsymbol\Sigma}_l = \frac1{n_l}\boldsymbol W_l$, где $\boldsymbol W_l$ — матрица рассеяния класса $S_l$ из пояснения к формуле (7).

Анализ выражений (16) и (17) в некоторых частных случаях приводит к ряду интересных выводов.

Случай 1. $\boldsymbol\Sigma_l = \sigma^2\boldsymbol E$ ($l = 1, \dots, k$), причём параметр $\sigma$ известен. Тогда минимизация (16) по $\boldsymbol\gamma$ равносильна минимизации функционала качества разбиения на классы $F1 = V_{int}$. Вот откуда «законность» k-средних и метода Уорда: это ОМП для облаков-шаров одинакового размера.

Случай 2. $\boldsymbol\Sigma_l = \boldsymbol\Sigma$ ($l = 1, \dots, k$), где матрица $\boldsymbol\Sigma$ известна. В этом случае минимизируемым функционалом является

где под расстоянием между точками $\boldsymbol x$ и $\boldsymbol y$ подразумевается

Случай 3. $\boldsymbol\Sigma_l = \boldsymbol\Sigma$ ($l = 1, \dots, k$), где матрица $\boldsymbol\Sigma$ неизвестна. Тогда выражение (17) можно представить в виде

где

Точно так же, как и в примере 2, находим, что матрица $\hat{\boldsymbol\Sigma}_{int}$ минимизирует сумму (19). Подставив её в формулу (19), замечаем, что второе слагаемое превращается в константу, а минимизация первого по $\boldsymbol\gamma$ равносильна минимизации функционала $F5 = \det\boldsymbol W_{int}$.

Замечание 6. Если матрицы ковариаций $\boldsymbol\Sigma_l$ ($l = 1, \dots, k$) совпадают, то можно обобщить одномерный F-критерий однофакторного дисперсионного анализа (см. формулу (9) главы 16) на многомерную нормальную модель. Например, для проверки гипотезы о равенстве средних $H_0\colon \boldsymbol\mu_1 = \boldsymbol\mu_2 = \dots = \boldsymbol\mu_k$ в качестве статистик критерия будем использовать монотонные функции от $F7 = \det\boldsymbol W_{int}/\det\boldsymbol W_{tot}$. Положим для краткости $L \equiv F7$ (её называют лямбдой Уилкса). Известно, что при справедливости гипотезы $H_0$:

• а) $\dfrac{n - k - 1}{k - 1}\cdot\dfrac{1 - \sqrt L}{\sqrt L} \sim F_{2k-2,\,2(n-k-1)}$, если $m = 2$ и $k \ge 2$;
• б) $\dfrac{n - k - m + 1}m\cdot\dfrac{1 - L}L \sim F_{m,\,n-k-m+1}$, если $m \ge 1$ и $k = 2$;
• в) $\dfrac{n - k - m + 1}m\cdot\dfrac{1 - \sqrt L}{\sqrt L} \sim F_{2m,\,2(n-k-m+1)}$, если $m \ge 1$ и $k = 3$.

Для других значений $m$ и $k$ и больших $n$ можно указать хорошую аппроксимацию, предложенную М. Бартлеттом (1947 г.): статистика $-\bigl(n - 1 - \frac{m + k}2\bigr)\ln L$ имеет приближённо $\chi^2$-распределение с $m(k - 1)$ степенями свободы.

Обобщение на многомерный случай F-критерия двухфакторного дисперсионного анализа (см. пример 1 главы 17) тоже существует.

Случай 4. Матрицы ковариаций $\boldsymbol\Sigma_l$ не равны между собой и неизвестны. Минимизируя отдельно каждое слагаемое в сумме (17), находим, что оценками максимального правдоподобия для $\boldsymbol\Sigma_l$ служат выборочные ковариационные матрицы $\hat{\boldsymbol\Sigma}_l$. Подставив их в формулу (17), превращаем вторые слагаемые в квадратных скобках в константы. При этом минимизируемый по $\boldsymbol\gamma$ функционал приобретает вид

Заметим, что функционал $F9$ равносилен (взвешенному) среднему геометрическому определителей матриц $\boldsymbol\Sigma_1, \dots, \boldsymbol\Sigma_k$, в то время как функционал $F5$ эквивалентен определителю матрицы, равной (взвешенному) среднему арифметическому этих же матриц (см. формулу (20)).

Смысл по-пацански: каждый функционал качества — это чья-то вероятностная модель в маскировке. Шары одного размера — $F1$. Одинаковые эллипсоиды известной формы — $F8$. Одинаковые эллипсоиды неизвестной формы — $F5$. Эллипсоиды кто во что горазд — $F9$. Выбрал функционал — значит, молча выбрал модель.

Пример 4. Собака или волк: дискриминантный анализ

В таблице на рис. 16 у Лагутина указаны размеры челюстей и зубов 30 собак (номера 1–30), 12 волков (номера 31–42) и ископаемого черепа неизвестного животного (номер 43), найденного в четвертичном слое. Данные — Де Бониса. Измеряемые характеристики:

1. длина черепа;
2. длина верхней челюсти;
3. ширина верхней челюсти;
4. длина верхнего карнивора;
5. длина первого верхнего моляра;
6. ширина первого верхнего моляра.

Требуется решить, к какому из классов (собак или волков) следует отнести неизвестное животное.

Для того чтобы это сделать, воспользуемся статистической моделью случайного выбора единственного наблюдения из некоторого многомерного нормального закона. Заранее известно, что этот закон является одним из $k$ заданных законов $\mathcal N(\boldsymbol\mu_l, \boldsymbol\Sigma_l)$, $l = 1, \dots, k$.

В соответствии с принципом максимального правдоподобия будем считать областью притяжения закона $\mathcal N(\boldsymbol\mu_l, \boldsymbol\Sigma_l)$ ($l = 1, \dots, k$) множество таких точек $\boldsymbol x \in \mathbb R^m$, где плотность распределения $\mathcal N(\boldsymbol\mu_l, \boldsymbol\Sigma_l)$ больше других. Это равносильно тому, что величина

имеет наименьшее значение среди $h_1, \dots, h_k$ (см. формулу (8)). При $m = 1$ и $k = 2$ получается разбиение прямой на две области притяжения: граница между ними проходит там, где пересекаются две колоколообразные плотности.

Замечание 7. В случае $k = 2$ данный способ выбора между законами с произвольными (известными) плотностями $p_1$ и $p_2$ минимизирует сумму $\alpha + \beta$ вероятностей ошибок I и II рода при проверке гипотезы $H_1\colon p(\boldsymbol x) = p_1(\boldsymbol x)$ (см. §1 главы 13) против альтернативы $H_2\colon p(\boldsymbol x) = p_2(\boldsymbol x)$ по единственному наблюдению $\boldsymbol x_0 \in \mathbb R^m$.

Доказательство. Обозначим через $G$ критическое множество критерия для проверки гипотезы $H_1$ против альтернативы $H_2$. Тогда

Интеграл в правой части принимает наименьшее значение в случае, когда множество $G$ состоит из всех точек, где подынтегральная функция неположительна, то есть $p_2(\boldsymbol x) \ge p_1(\boldsymbol x)$. $\blacksquare$

Отметим, что оптимальное множество $G$ принадлежит (при $c = 1$) семейству критических множеств из критерия Неймана — Пирсона (см. §2 главы 13): $G_c = \{\boldsymbol x \in \mathbb R^m\colon p_2(\boldsymbol x)/p_1(\boldsymbol x) \ge c\}$.

Для $\alpha + \beta$ можно получить оценку сверху:

Здесь $B = B(p_1, p_2)$ — расстояние Бхаттачария. Оно инвариантно относительно взаимно однозначных преобразований координат и обращается в нуль при $p_1 = p_2$. Известно, что для двух нормальных законов

В частности, при $\boldsymbol\Sigma_1 = \boldsymbol\Sigma_2$ видим, что $B = d(\boldsymbol\mu_1, \boldsymbol\mu_2)/8$, где $d(\boldsymbol x, \boldsymbol y)$ обозначает расстояние Махаланобиса (см. формулу (18)).

По кирпичикам: откуда оценка. Так как $\min(a, b) \le \sqrt{ab}$, получаем $\alpha + \beta = \int\min(p_1, p_2) \le \int\sqrt{p_1p_2} = e^{-B}$. Первое равенство — это и есть доказанное замечание 7: при оптимальном $G$ в каждой точке «платим» меньшую из двух плотностей.

Расчёт

Применим эти результаты к данным о собаках ($l = 1$) и волках ($l = 2$).

• Чтобы уравнять влияние размеров черепа и зубов (первые на порядок больше последних), нормируем столбцы таблицы рис. 16 с помощью устойчивого к выделяющимся наблюдениям преобразования $Z' = (Z - MED)/MAD$ (нормировка N3 из §1).
• Так как истинные $\boldsymbol\mu_l$ и $\boldsymbol\Sigma_l$ неизвестны, используем вместо них оценки максимального правдоподобия $\bar{\boldsymbol x}_l$ и $\hat{\boldsymbol\Sigma}_l$.

В результате подсчётов получим значения $h_1 = -2{,}94$ и $h_2 = 39{,}7$. Поскольку $h_1 < h_2$, в соответствии с принципом максимального правдоподобия неизвестное ископаемое животное, скорее всего, было собакой. При этом значение $B = 4{,}08$ приводит к оценке суммы вероятностей ошибок I и II рода величиной $e^{-B} \approx 0{,}017$.

Мы пересчитали всё заново, и книжные числа воспроизводятся точно ($h_1 = -2{,}940$, $h_2 = 39{,}671$, $B = 4{,}079$) при одном уточнении: медиану и MAD для нормировки нужно считать по всем 43 строкам, включая неизвестное животное.

Сверх книги посчитаем и лямбду Уилкса из замечания 6 для 42 известных животных. Получается $L = 0{,}176$, по пункту б) $F = 27{,}2$ при $(6,\ 35)$ степенях свободы, $p \approx 8\cdot10^{-12}$. Средние собак и волков различаются, в чём, впрочем, никто и не сомневался. Строго говоря, критерий предполагает равные ковариационные матрицы, а дискриминантный анализ выше их не уравнивал.

Ещё одна проверка — скользящий контроль. Каждое из 42 известных животных по очереди «прячем», оцениваем модели по остальным и классифицируем спрятанное. Ошибаемся на двух из 42. Это честнее, чем оценка $e^{-B}$: та использует оценки параметров так, будто это истинные значения.

Этот вывод подтверждает и диаграмма рассеяния нормированных признаков 1 (длина черепа) и 4 (длина верхнего карнивора) — рис. 19 у Лагутина; её можно построить в режиме «Диаграмма рассеяния» виджета и в §8. На основе диаграммы можно заключить, что главным признаком, с помощью которого различаются собаки и волки, является размер зубов.

Бабушка, а почему у тебя такие большие зубы?

— Красная Шапочка

Смысл по-пацански: череп собачий — по зубам видно. Волчьи карниворы длиннее, и это различие сильнее, чем по любой длине черепа: собаки бывают и мелкие, и крупные, а зубы у волка всё равно больше.

Проверь себя