Гаусс – это нормально и ожидаемо? Подумайте ещё раз

Когда-то давно, когда автора обучали на Зелёного Пояса Lean Six Sigma (LSS) в General Electric, ему давали инструменты, ориентированные исключительно на нормальные распределения — такие как ANOVA и T-test. Предполагалось, что работа с ненормальными данными слишком сложна для Зелёных Поясов, и потому её изучение не входило в стандартную программу. Однако в дальнейшей практике, уже работая в качестве Зелёного Пояса, а затем консультантом LSS, автор снова и снова сталкивался с тем, что реальные данные редко соответствовали нормальному распределению. Единственные случаи, когда выборки действительно подходили под нормальное распределение, были связаны либо с небольшими объёмами данных, когда недостаток информации не позволял отклонить гипотезу о нормальности, либо с ситуациями, где данные представляли собой белый шум — например, когда измерительная система была настолько неработоспособной, что фактически генерировала случайные числа.

Именно эти наблюдения и привели к написанию данного эссе, в котором рассматриваются ограничения нормального распределения для реальных процессов и ошибки, возникающие при его неправильном применении.

Свойства нормального распределения и центральная предельная теорема

Нормальное распределение, также известное как распределение Гаусса, является одним из фундаментальных понятий в теории вероятностей и статистике. Оно описывает множество природных и социальных явлений, для которых характерна симметричность и наибольшая плотность вероятности вокруг среднего значения. В математической форме нормальное распределение представлено колоколообразной кривой, или кривой Гаусса, которая симметрична относительно среднего значения, имеет один максимум на этом значении и плавно убывает к нулю на бесконечности.

Основные свойства нормального распределения:

1. Симметрия относительно среднего: График плотности нормального распределения симметричен относительно своего математического ожидания (среднего значения). Это означает, что вероятности получения значений, отклоняющихся на одно и то же количество единиц влево и вправо от среднего, равны.
2. Среднее, мода и медиана совпадают: В нормальном распределении все три этих характеристики расположены в одном и том же месте — в центре симметрии.
3. Форма колокола: График плотности вероятности нормального распределения имеет характерную колоколообразную форму, где наиболее вероятные значения расположены около среднего, а значения, сильно отклоняющиеся от него, встречаются значительно реже.
4. Эмпирическое правило (правило 68-95-99.7): Около 68% значений находятся в пределах одного стандартного отклонения от среднего, 95% — в пределах двух стандартных отклонений, и около 99,7% — в пределах трёх.

Центральная предельная теорема

Центральная предельная теорема (ЦПТ) является ключевым результатом теории вероятностей и объясняет, почему нормальное распределение встречается в столь многих реальных ситуациях. Эта теорема утверждает, что если у нас есть достаточно большое количество независимых случайных величин с одинаковым распределением (не обязательно нормальным), их сумма или среднее будет приближаться к нормальному распределению по мере увеличения числа наблюдений.

ЦПТ даёт возможность использовать нормальное распределение для описания многих сложных систем и процессов, даже если сами элементы этих систем не подчиняются нормальному распределению. Важное следствие этой теоремы заключается в том, что процессы, связанные с большими выборками или совокупностями, часто подчиняются нормальному закону.

Примером могут служить результаты измерений в физике, биологии или экономике, где индивидуальные измерения могут подчиняться самым разным распределениям, но сумма или среднее значений в большом наборе данных приближается к нормальному распределению. Это объясняет универсальность нормального распределения в статистических методах.

Центральная предельная теорема формулируется следующим образом:

Если X1,X2,…,Xn ​ — независимые случайные величины с одинаковым распределением, имеющим конечные среднее μ и дисперсию σ2, то распределение их среднего приближается к нормальному распределению с параметрами μ и σ2/ n по мере роста n.

Условия применимости нормального распределения для реальных процессов

Хотя нормальное распределение используется для описания множества процессов в природе, технике и обществе, его применимость к конкретным задачам требует соблюдения определённых условий. Эти условия связаны как с математическими допущениями, так и с характеристиками реальных систем, которые мы хотим описать. Рассмотрим ключевые факторы, которые определяют, насколько корректно можно применять нормальное распределение для описания реальных процессов.

1. Независимость и однородность данных

Одним из главных условий для применения нормального распределения является независимость случайных величин, которые мы рассматриваем. Центральная предельная теорема предполагает, что сумма или среднее большое число независимых случайных величин будет следовать нормальному закону. Если зависимости между элементами существуют (например, автокорреляции или тренды), то это нарушает условия теоремы, и нормальное распределение может оказаться непригодным для описания системы.

Кроме того, данные должны быть однородными, то есть принадлежать одной и той же генеральной совокупности с одинаковым распределением вероятностей. Если в выборке присутствуют разные подгруппы с различными распределениями, это может искажать нормальность совокупных данных. Например, совмещение данных из разных источников с различными характеристиками может привести к многомодальному распределению, которое явно не является нормальным.

2. Большое количество наблюдений

Одним из следствий центральной предельной теоремы является необходимость достаточно большого числа наблюдений. В случае малых выборок распределение данных может отличаться от нормального, и результаты статистического анализа могут быть некорректными. Чем больше данных мы собираем, тем ближе распределение выборочного среднего к нормальному. Однако в реальных процессах, если выборка слишком мала, результаты могут быть искажены случайными отклонениями, и на нормальность распределения полагаться нельзя.

Часто считается, что выборка от 30 элементов и более уже достаточна для приближения к нормальному распределению, однако это эмпирическое правило, и применимость нормального распределения зависит от природы данных.

3. Отсутствие сильных выбросов

Нормальное распределение предполагает, что большинство наблюдений сосредоточено около среднего значения, и чем дальше наблюдение от среднего, тем реже оно встречается. Однако в реальных данных часто присутствуют выбросы — крайне редкие, но значительные значения, которые сильно отличаются от остальных данных.

Если в данных присутствуют такие выбросы, применение нормального распределения может быть некорректным, так как оно предполагает определённую симметричность и гладкость кривой плотности вероятности. Выбросы могут значительно смещать средние и другие статистические параметры, что делает выводы менее достоверными.

Для процессов с сильными выбросами могут быть полезны другие типы распределений, такие как распределение Коши или распределение Парето, которые лучше описывают данные с экстремальными значениями.

4. Симметричность распределения

Нормальное распределение является симметричным относительно своего среднего значения. Это означает, что вероятности больших отклонений в обе стороны от среднего должны быть одинаковыми. Если в реальных данных наблюдается явная асимметрия (например, если отклонения в одну сторону от среднего встречаются гораздо чаще, чем в другую), то нормальное распределение не будет подходящим для описания таких данных.

Асимметричные распределения часто встречаются в экономике (например, распределение доходов) или в некоторых технических процессах, где отклонения в одну сторону могут быть ограничены физическими или другими факторами. В таких случаях можно использовать другие распределения, например, логнормальное или гамма-распределение, которые позволяют описывать процессы с асимметрией.

5. Слабая корреляция с другими процессами

В реальных процессах часто возникают взаимодействия и корреляции между различными факторами, влияющими на результаты. Если эти взаимодействия слишком сильны, нормальное распределение может не отразить поведение данных адекватно. Например, в сложных производственных системах может наблюдаться корреляция между параметрами оборудования, входными материалами и условиями эксплуатации, что нарушает независимость данных и делает нормальное распределение непригодным.

Для процессов с сильной корреляцией могут быть полезны многомерные методы моделирования или использование других типов распределений, которые учитывают корреляции, например, многомерное нормальное распределение или распределение, учитывающее совместные зависимости.

6. Наличие физических или других ограничений

Некоторые реальные процессы могут иметь жёсткие ограничения на диапазон значений, которые могут принимать переменные. Например, процесс не может иметь отрицательные значения (например, вес предмета, время выполнения задачи). Нормальное распределение предполагает неограниченный диапазон значений от минус до плюс бесконечности, что делает его неподходящим для описания таких процессов.

В таких случаях логнормальное распределение или экспоненциальное распределение могут быть более подходящими, поскольку они лучше отражают природу ограниченных процессов.

Пример применения нормального распределения в реальном процессе

Для иллюстрации рассмотрим производственный процесс, где на выходе измеряется масса продукта. Если условия производства стабильны, оборудование настроено правильно, и внешний фактор практически не влияет на результат, измеренная масса продукции будет подчиняться нормальному распределению. Среднее значение массы будет отражать номинальное значение продукта, а отклонения от него будут возникать случайным образом, описываемым нормальным законом.

Однако если на процесс начинают влиять систематические факторы, такие как устаревание оборудования или вариации в сырье, то данные могут перестать быть нормально распределёнными. В таком случае применение нормального распределения станет некорректным, и потребуется использовать другие методы для описания вариаций в процессе.

Применение нормального распределения — редкое исключение

Роль «толстых хвостов»

Несмотря на универсальность и простоту применения нормального распределения в статистических моделях, на практике многие реальные процессы демонстрируют отклонения от нормальности. Одним из ключевых отклонений являются так называемые «толстые хвосты» — явление, при котором вероятность больших отклонений от среднего значения существенно выше, чем это предсказывает нормальное распределение.

«Толстые хвосты» возникают, когда в данных наблюдаются значительные выбросы, которые не подчиняются нормальному распределению. В отличие от гладкой колоколообразной формы нормальной кривой, распределения с толстыми хвостами характеризуются более медленным спадом вероятности на концах кривой. Это означает, что крупные отклонения (как положительные, так и отрицательные) встречаются гораздо чаще, чем предсказала бы модель Гаусса. Одной из основных причин появления толстых хвостов является зависимость между элементами процесса.

Примеры процессов с «толстыми хвостами»

1. Финансовые рынки Одним из наиболее известных примеров распределений с толстыми хвостами являются изменения на финансовых рынках. Цены на акции, облигации и валюты могут испытывать резкие скачки, вызванные экономическими кризисами, новыми регуляциями или внезапными событиями. Например, модель нормального распределения предсказывала бы очень низкую вероятность серьёзных экономических потрясений, таких как финансовый кризис 2008 года. Однако реальность демонстрирует частые случаи экстремальных событий, что свидетельствует о наличии толстых хвостов.
2. Природные катастрофы Распределения ущерба от природных катастроф, таких как землетрясения, наводнения и ураганы, также демонстрируют толстые хвосты. Большие разрушительные события случаются гораздо чаще, чем предполагалось бы в рамках нормального распределения. Например, ущерб от редких, но мощных ураганов может многократно превышать средние уровни ущерба от меньших штормов.
3. Доходы и богатство Распределение доходов и богатства среди населения также является классическим примером толстых хвостов. В то время как большинство людей получают средние или близкие к ним доходы, существует небольшая группа людей с крайне высокими доходами, которые значительно превышают средние значения. Такие «экстремальные» значения гораздо более часты, чем это предполагалось бы нормальным распределением.
4. Распределение времени отказов в сложных системах В технике и инженерии распределение времени до отказа для многих систем, особенно сложных, также демонстрирует толстые хвосты. Например, в компьютерных системах или сетях, как правило, существует низкий уровень частоты отказов в большинстве случаев, однако иногда происходят крайне редкие, но катастрофические события, приводящие к массовым сбоям. Это характерно для сложных сетей, где сбои одного элемента могут вызвать каскадные эффекты.
5. Пандемии и эпидемии Распространение болезней также часто демонстрирует поведение, близкое к распределению с толстыми хвостами. Большинство эпидемий оказываются локальными и ограниченными, но иногда происходит глобальное распространение заболеваний, приводящее к массовым заражениям и смертям, как в случае пандемии COVID-19. Эти события являются примерами редких, но крайне значительных отклонений.

Причины появления «толстых хвостов» в реальных процессах

1. Зависимости между элементами Во многих реальных системах элементы не являются независимыми, как предполагает центральная предельная теорема. Напротив, между ними часто существуют сложные зависимости. Эти зависимости могут приводить к тому, что один элемент процесса сильно влияет на поведение других, вызывая цепные реакции или каскадные эффекты. Например, в финансовых рынках цена одной акции может повлиять на стоимость целых индексов, что приведёт к массовым скачкам.
2. Нелинейность процессов Реальные процессы часто являются нелинейными, и малые изменения начальных условий могут приводить к крупным последствиям (эффект бабочки). В таких системах небольшие изменения параметров могут вызывать кардинальные сдвиги в результате, что приводит к более частому появлению экстремальных событий.
3. Влияние внешних факторов Многие процессы подвергаются влиянию внешних сил, которые могут резко изменять поведение системы. Например, внезапные изменения погодных условий, политические события или технологические прорывы могут радикально изменить ход процессов, которые ранее были предсказуемыми и стабильными.

Роль несимметричности и центральной тенденции

Наряду с «толстыми хвостами», ещё одной важной характеристикой, которая ставит под сомнение применимость нормального распределения в реальных процессах, является несимметричность (асимметрия) данных. В нормальном распределении среднее значение, медиана и мода совпадают, но во многих реальных ситуациях данные имеют выраженную асимметрию, из-за чего среднее значение перестаёт корректно отражать центральную тенденцию. В таких случаях использование среднего значения для оценки центральной тенденции может вводить в заблуждение, и медиана оказывается более надёжной характеристикой.

Примеры несимметричности в реальных данных

1. Распределение доходов В экономике распределение доходов среди населения является ярким примером асимметричных данных. Большинство людей имеют доходы ниже или около среднего значения, но небольшой процент людей получает значительно выше среднего. Это приводит к тому, что средний доход оказывается завышенным из-за влияния крайне высоких доходов. В этом случае медиана — более адекватная характеристика, поскольку она не подвержена влиянию экстремальных значений и более точно отражает положение типичного человека.

Причина: Экономическое неравенство, связанное с различиями в образовании, доступе к ресурсам, профессиональных навыках и социальной мобильности, приводит к тому, что значительная часть населения имеет доходы намного ниже доходов самой богатой группы.

1. Распределение цен на жильё На рынке недвижимости также часто наблюдается асимметричное распределение цен. В большинстве районов есть дома со средней стоимостью, однако наличие элитной недвижимости в дорогих районах может значительно завышать среднюю цену на жильё в городе. В этом случае медиана лучше отражает реальную ситуацию для большинства покупателей.

Причина: Различия в географическом расположении, инфраструктуре, спросе и предложении приводят к тому, что цены на жильё в разных сегментах рынка могут варьироваться в огромных пределах. Несколько объектов недвижимости с чрезвычайно высокими ценами могут существенно смещать среднее значение.

1. Продолжительность жизни В демографических данных часто используется медиана для оценки продолжительности жизни, поскольку среднее может быть искажено из-за ранних смертей (например, в результате детской смертности или несчастных случаев). Медиана в таких случаях даёт более точную оценку того, сколько лет проживает типичный человек.

Причина: Высокая детская смертность или смертность от несчастных случаев снижает среднее значение, делая его менее репрезентативным для большинства населения. В то время как медиана указывает на возраст, который достигает половина населения, не затронутого ранними смертями.

1. Время ожидания в очередях В распределении времени ожидания в очереди в сервисных системах (например, в банках или на почте) часто наблюдается асимметрия. Большинство людей ждут относительно короткое время, но иногда случаются длительные задержки, которые сильно влияют на среднее время ожидания. Медиана времени ожидания, напротив, может дать лучшее представление о том, сколько времени клиент реально проведёт в очереди.

Причина: Непредсказуемые изменения в объёме работы, случайные сбои или нехватка ресурсов могут приводить к тому, что иногда ожидание сильно затягивается, что увеличивает среднее значение, хотя для большинства клиентов такие ситуации являются редкими.

1. Распределение размеров компаний В бизнесе размеры компаний (по численности сотрудников или выручке) демонстрируют яркую асимметрию. Большинство компаний являются малым бизнесом, но на рынке также присутствуют крупные корпорации с огромным числом сотрудников и миллиардными доходами. Использование среднего значения для описания размеров компании было бы неверным, поскольку среднее будет значительно увеличено за счёт крайне крупных компаний. Медиана в этом случае лучше отражает типичные размеры бизнеса.

Причина: Различия в стратегиях, доступе к капиталу и географическом масштабе деятельности компаний создают ситуации, когда крупные корпорации значительно выделяются на фоне огромного числа малых и средних предприятий.

Причины возникновения асимметрии в данных

1. Ограниченность значений В некоторых случаях одно из возможных значений сильно ограничено, в то время как другие могут варьироваться в широких пределах. Например, продолжительность времени ожидания в очереди не может быть меньше нуля, но может существенно увеличиваться в условиях перегрузки системы.
2. Наличие барьеров для снижения значений Часто существуют физические или экономические ограничения, которые ограничивают минимальные значения переменных. Например, в распределении доходов доход не может быть меньше нуля, что делает распределение с длинным хвостом в сторону высоких значений.
3. Редкие, но экстремальные события Как и в случае с толстым хвостом, несимметричность может возникать из-за редких, но значительных событий. Такие события могут смещать среднее значение, делая его ненадёжной метрикой центральной тенденции.
4. Системные факторы и зависимости Взаимодействие между элементами системы, такие как каскадные эффекты в финансовых кризисах или сложные сети поставок, также может приводить к асимметрии в распределении данных. Это создаёт ситуации, где положительные или отрицательные отклонения происходят чаще и сильнее, чем предсказывает нормальная модель.

Практические последствия допущения нормальности

Предположение о нормальности данных является удобным упрощением для анализа процессов, однако оно может привести к серьёзным практическим последствиям, если данные не соответствуют нормальному распределению. Рассмотрим ключевые проблемы и риски, связанные с неправильным использованием нормального распределения в реальных ситуациях:

1. Ошибки в оценке экстремальных событий (эффект «Чёрных лебедей»)

Нассим Талеб в своей книге «Чёрный лебедь» подробно описывает проблему оценки редких, но катастрофических событий. Допущение нормальности приводит к значительному недооцениванию вероятности таких событий. Нормальное распределение предсказывает очень низкие шансы на возникновение значительных отклонений от среднего, что делает системы уязвимыми перед неожиданными кризисами. Это может быть критично для таких областей, как финансы, страхование, управление рисками и моделирование катастроф.

Последствия: Переоценка устойчивости систем к кризисам и редким событиям, что может приводить к серьёзным потерям. В финансах это может быть выражено в виде резких рыночных коллапсов, в производстве — в виде неожиданных массовых отказов оборудования.

2. Дестабилизация процессов при использовании SPC

Статистический контроль процессов (SPC) широко используется для мониторинга и управления качеством в производственных и сервисных системах. Однако, если данные не подчиняются нормальному распределению, установленные контрольные границы (основанные на предположении нормальности) могут быть некорректными. Это приводит к ошибкам первого типа (ложным сигналам о нарушениях), вынуждая менеджеров к ненужным вмешательствам и перерегулировкам процесса.

Последствия: Чрезмерное регулирование и вмешательство в процессы, которые на самом деле находятся в стабильном состоянии. Это приводит к снижению эффективности, повышению затрат и увеличению брака, вызванного ненужными корректировками.

3. Неверная оценка качества партий через выборки

При использовании статистических методов оценки качества продукции, таких как индексы производительности Cpk​ (индекс способности процесса), допущение нормального распределения может привести к неверным выводам. В ненормальных данных Cpk​ может плохо коррелировать с фактическим выходом за пределы спецификаций. Это особенно важно для сложных производственных процессов, где высокие показатели индекса не гарантируют, что партия продукции будет соответствовать спецификациям.

Последствия: Завышенные оценки качества продукции, когда фактический процент брака оказывается выше, чем предсказывают индексы. Это может приводить к проблемам с клиентами, увеличению возвратов и снижению репутации.

4. Недооценка рисков в управлении проектами

В управлении проектами и оценке сроков выполнения задач часто используются методы, основанные на предположении о нормальном распределении времени выполнения задач. В реальных проектах время выполнения задач может подчиняться асимметричным распределениям с длинными хвостами, особенно если задачи зависят друг от друга или внешних факторов. Применение нормального распределения может привести к недооценке вероятности задержек.

Последствия: Систематическая недооценка сроков выполнения проектов, что приводит к срывам сроков, перерасходу бюджета и снижению эффективности команд.

5. Ошибки в маркетинговых и экономических прогнозах

При планировании спроса, потребительского поведения или других экономических переменных часто используются модели, предполагающие нормальное распределение отклонений от прогнозов. Однако фактические данные могут быть асимметричными или иметь «толстые хвосты», что делает прогнозы на основе нормального распределения менее точными.

Последствия: Неверные прогнозы продаж, спроса или экономических показателей, что приводит к перепроизводству, нехватке товара или неверным решениям в стратегии ценообразования.

6. Ошибки в медицинской статистике и клинических испытаниях

В медицинских исследованиях использование нормального распределения для анализа результатов клинических испытаний может привести к ошибочным выводам, особенно если данные имеют асимметричное распределение (например, время до наступления события или результаты лечения). Применение методов на основе нормального распределения в таких условиях может неправильно оценить эффективность лечения или риск для пациентов.

Последствия: Недостаточная или избыточная оценка эффективности лечения, что может привести к задержке внедрения полезных препаратов или, наоборот, к допуску на рынок препаратов с низкой эффективностью.

Заключение

Допущение нормальности может привести к значительным ошибкам в оценке рисков, управлении процессами и принятии решений. В реальных процессах «толстые хвосты», несимметричность и зависимости между элементами часто оказываются нормой, а не исключением. Ошибки, связанные с допущением нормального распределения, могут проявляться в недооценке экстремальных событий, чрезмерной регуляции процессов, неверной оценке качества продукции, ошибочных прогнозах в проектах и маркетинге, а также в медицине.