§9. Таблицы сопряжённости

Рассмотрим задачу выявления статистической связи для сгруппированных (разбитых на категории) данных. Если ранее обсуждались случаи количественных (§§ 1–6) и порядковых (ранговых, §§ 7–8) переменных, то теперь переменные — качественные и описываются номером группы, а данные представлены в виде таблицы сопряжённости (признаков) $\|\nu_{ij}\|_{n\times m}$, в которой $\nu_{ij}$ — число объектов с признаками $i$, $j$. (Таблицы с тремя и более входами анализируются в специальной литературе.)

Смысл по-пацански: тут уже не «на сколько больше», а «в какую графу попал». Пол, район, марка тачки. Считать среднее не из чего — остаётся считать, кого сколько в каждой клетке.

Опишем три выборочные схемы, приводящие к таблицам сопряжённости.

Схема I возникает в случае, когда строки $(\nu_{i1}, \dots, \nu_{im})$ таблицы данных ($i = 1, \dots, n$) можно рассматривать как независимые выборки из полиномиальных распределений (см. §5 главы 10 и доказательство теоремы 1 главы 18) с вероятностями $q_{ij}$ ($\sum_{j=1}^mq_{ij} = 1$) и заданными числами наблюдений $n_i = \sum_{j=1}^m\nu_{ij}$. Такая организация данных обычно возникает, когда хотят сравнить между собой несколько одномерных распределений, представленных выборками заранее заданного размера. Наиболее важной для схемы I является гипотеза однородности

которая подробно обсуждалась ранее в §3 главы 18.

Схема II. Предполагается, что $(\nu_{11}, \dots, \nu_{nm})$ имеют полиномиальное распределение с вероятностями $(p_{11}, \dots, p_{nm})$ и фиксированным общим числом наблюдений $N = \sum_{i,j}\nu_{ij}$. Таблица сопряжённости в этом случае является обычной двумерной гистограммой для $N$ наблюдений. Гипотезе $H_I$ из схемы I соответствует гипотеза независимости, состоящая в том, что совместное распределение есть произведение маргинальных (частных) распределений:

Схема III возникает, когда в схеме II общее число наблюдений рассматривается как случайная величина. Её важным частным случаем является случай, когда все $\nu_{ij}$ независимы и распределены по закону Пуассона с параметрами $\lambda_{ij}$. Тогда их сумма $N$ также имеет распределение Пуассона с параметром $c = \sum_{i,j}\lambda_{ij}$ (см. задачу 3 главы 10). Гипотезам $H_I$ и $H_{II}$ соответствует гипотеза мультипликативности

В качестве примера применения схемы III может быть рассмотрена задача, в которой $\nu_{ij}$ — число отказов (аварий) $i$-го вида на установках $j$-го типа в течение заданного времени наблюдения. Параметры $\lambda_{ij}$ отражают ожидаемые количества отказов.

Можно доказать, что если в схеме III зафиксировать $N$, то она переходит в схему II с $p_{ij} = \lambda_{ij}/c$. При этом гипотеза $H_{III}$ преобразуется в гипотезу $H_{II}$. Аналогично, если зафиксировать в схеме II суммы по строкам $n_i = \nu_{i1} + \dots + \nu_{im}$, то схема II переходит в схему I с $q_{ij} = p_{ij}/r_i$, а гипотеза $H_{II}$ — в гипотезу $H_I$.

Смысл по-пацански: три разных способа набрать данные — три разные модели. Но если «зафиксировать» то, что в эксперименте и так было задано, все три сводятся друг к другу, и проверяются одним и тем же хи-квадратом.

Критерий хи-квадрат

Для проверки гипотез $H_I$–$H_{III}$ применяется вариант критерия хи-квадрат, статистика которого имеет вид

При справедливости проверяемой гипотезы при достаточно больших $N$ статистика $X^2$ приближённо распределена по закону хи-квадрат с $(n - 1)(m - 1)$ степенями свободы.

По кирпичикам: $n_im_j/N$ — ожидаемое число в клетке, если признаки независимы: доля строки $n_i/N$ умножить на долю столбца $m_j/N$ умножить на всех $N$. Формула — тот же Пирсон из главы 18: (наблюдено − ожидается)² / ожидается, суммируем по клеткам.

Для схемы II это утверждение вытекает из теоремы Фишера (см. формулу (6) главы 18). В этом случае имеется $(m + n - 2)$ неизвестных параметров $r_1, \dots, r_{n-1}, s_1, \dots, s_{m-1}$. Методом Лагранжа находим, что оценками максимального правдоподобия для них будут величины $\hat r_i = n_i/N$ и $\hat s_j = m_j/N$ (задача 7). При этом число степеней свободы предельного закона хи-квадрат равно $nm - 1 - (m + n - 2) = (n - 1)(m - 1)$.

Пример 11. В приведённой ниже таблице представлены результаты социологического обследования о связи между доходом семей и количеством детей в них. Признак $A$ означает количество детей и принимает значения 0, 1, 2, 3, $\ge 4$. Признак $B$ указывает, какому из диапазонов $(0\text{–}1)$, $(1\text{–}2)$, $(2\text{–}3)$, $(\ge 3)$ (за единицу принято 1000 шведских крон) принадлежит доход семьи.

Значение статистики $X^2$ равно 568,6, что значимо больше критической границы 32,9 уровня 0,001 закона хи-квадрат с $(5 - 1)(4 - 1) = 12$ степенями свободы (см. табл. T3). Поэтому гипотеза независимости признаков $A$ и $B$ отвергается.

Однако, как отмечается в литературе, более тонкий анализ этих данных указывает на очень слабую зависимость между $A$ и $B$. Как это совместить? Очень просто: при $N = 25\,263$ значимой становится любая, даже микроскопическая связь.

Коэффициент $V$ Крамера $= \sqrt{X^2/(N\min(n - 1, m - 1))}$ — это популярная мера силы связи для таблиц сопряжённости (в книге его нет, добавляем для иллюстрации). Здесь $V \approx 0{,}09$ — связь слабая, хотя и «бесспорно значимая». Видно и её устройство: доля семей с высоким доходом падает от 17 % у бездетных до 5 % у семей с тремя детьми.

Смысл по-пацански: «значимо» не значит «сильно». На двадцати пяти тысячах семей критерий заметит связь толщиной с волос. Вопрос «есть ли связь» решает хи-квадрат, вопрос «насколько она важна» — уже другие меры и здравый смысл.

Проверь себя