Статистика для работы: с чего начать

Девять сотрудников отдела получили по итогам квартала одинаковую премию, а десятому руководитель выписал вдвое больше, чем этим девятерым вместе. Средняя премия по отделу при этом выше той, что получил любой из девяти, и в отчёте так и написано: «средняя премия — столько-то». Цифра посчитана верно. Беда в том, что она описывает человека, которого в отделе нет.

Почти вся прикладная статистика на работе состоит из таких случаев: кто-то показал число, и нужно понять, на какой вопрос оно отвечает и на какой не отвечает. К формулам это сводится позже, чем кажется, а чаще не сводится вовсе. Ниже о том, чему учиться человеку, который не собирается становиться аналитиком, но читает отчёты, принимает по ним решения и иногда сам готовит цифры для других.

Какое число вам показали

Среднее — самое популярное число в отчётах и самое ненадёжное там, где данные перекошены. Если в наборе есть несколько очень больших значений, они тянут среднее вверх, и оно перестаёт описывать типичный случай. Сумма заказа, время доставки, зарплата, число обращений на одного клиента перекошены почти всегда: большинство значений маленькие, а длинный хвост больших портит среднее.

Для таких данных у статистики есть медиана: значение, по обе стороны от которого лежит поровну наблюдений. В истории с премиями она равна той, что получили девять человек, и вот это число описывает отдел. Медиана устойчива к выбросам, поэтому на неё и опираются, когда хотят сказать про типичный случай. Среднее при этом не бесполезно: если нужно посчитать общую сумму или общий объём, делят и умножают именно им.

Разумно привыкнуть к тому, что любой «средний» показатель сопровождается вторым числом, которое говорит о разбросе. Среднее время ответа поддержки в двадцать минут может означать, что почти все получают ответ за двадцать минут, а может означать, что половина клиентов ждёт десять минут, а другая половина тридцать. Для заказчика это два разных сервиса. Размах, стандартное отклонение или просто график распределения показывают разницу сразу.

Откуда взялись данные

Вторая половина прикладной статистики вообще не про числа, а про то, как они получены. Вы смотрите на результат опроса: клиенты довольны, девять из десяти поставили высокие оценки. Следующий вопрос — кого спрашивали. Если анкета приходила тем, кто дошёл до конца подписки, довольные там обязательно в большинстве: недовольные ушли раньше и анкету не получили. Если опрос висел на сайте и каждый мог ответить сам, ответили те, у кого есть сильное мнение, обычно крайнее.

Отдельная история с пропущенными значениями. В выгрузке из системы половина полей в одном из столбцов пустая, и среднее считается по оставшейся половине, но об этом нигде не сказано. Пустые поля редко пусты случайно: чаще их не заполняют именно те, у кого значение неудобное или нулевое. Пропуски стоит найти и назвать до того, как цифру понесут руководству.

Такие искажения происходят при отборе, и формулой их не исправить: плохо собранные данные остаются плохими, сколько ни считай. Поэтому у человека, читающего чужой отчёт, есть вопросы, которые стоит задать раньше любых расчётов. Сколько наблюдений. Кого и как отбирали. С чем сравнивали. Какой в данных разброс. На четыре вопроса даже вежливый отчёт отвечает не всегда, и отсутствие ответа тоже информация.

Хорошо, когда данные собраны сравнением двух групп, в которые людей распределили случайно: так устроены проверки новой версии страницы или нового скрипта разговора. Случайное распределение делает группы похожими во всём, кроме проверяемого отличия, и поэтому разницу можно приписать отличию. Когда группы сложились сами (одни клиенты выбрали новый тариф, другие остались на старом), разницу приписывать тарифу уже нельзя: те, кто выбрал, могли отличаться с самого начала.

Что говорит значимость и чего не говорит

В отчётах про сравнения встречается слово «значимо», и за ним стоит p-значение. Определение у него неудобное, и его чаще всего пересказывают неверно, поэтому его полезно один раз выучить точно. Это вероятность получить такие данные или ещё более крайние, если в действительности никакого различия нет. Это не вероятность того, что различия нет, и тем более не вероятность того, что ваша гипотеза верна. Порог 0,05, который в большинстве отчётов считают границей, остаётся условностью, принятой в практике: никакой закон природы на нём не заканчивается.

Из определения следует несколько неприятных вещей, и они объясняют, почему слову «значимо» нельзя верить автоматически. При очень большой выборке значимой оказывается любая крошечная разница, которая для дела ничего не значит: сайт загружается на сотую долю секунды быстрее, и это «статистически значимо». При малой выборке важное различие может не дойти до порога просто из-за нехватки данных. А если сравнение прерывали, как только результат стал «значимым», вероятность ошибиться оказывается выше, чем кажется, потому что остановка по результату сама по себе искажает картину.

Поэтому разумнее смотреть не только на p-значение, но и на размер разницы вместе с доверительным интервалом. Он показывает диапазон значений, согласующихся с данными. Строгая трактовка здесь тонкая: уровень доверия относится к процедуре, а не к конкретному интервалу, но для работы достаточно помнить две вещи. Узкий интервал означает, что оценка точная. Чтобы сузить его вдвое, нужно в четыре раза больше наблюдений, а не вдвое, и это объясняет, почему «набрать ещё чуть-чуть данных» часто не помогает.

С чего начать, если времени мало

Я бы не начинал с формул проверки гипотез. Они пригодятся, но в первую очередь работнику нужен набор привычек, который закрывает большую часть реальных ошибок, а он усваивается на собственных отчётах.

• читать графики с осями: если столбцы начинаются выше нуля, небольшая разница между ними выглядит огромной, и это самый частый приём в презентациях
• спрашивать, сколько наблюдений стоит за числом, и не принимать процент без «из скольких»
• отличать среднее от медианы там, где данные перекошены, и просить второе число о разбросе
• не приписывать причину там, где две величины просто движутся вместе: продажи мороженого и число купаний растут одновременно, и причина у обоих третья, жаркая погода

Отдельно стоит запомнить один эффект, на котором ошибаются даже опытные руководители. Отдел, показавший лучший результат квартала, в следующем квартале обычно показывает результат хуже, и руководитель решает, что похвала расслабила людей. Часть таких «падений» объясняется возвратом к обычному уровню: крайние значения в большинстве случаев сменяются менее крайними, потому что в исключительном результате всегда есть доля удачи. Прежде чем искать причину в поведении людей, имеет смысл посмотреть на результаты отдела за несколько кварталов, а не за два.

Потренироваться удобно на отчётах, которые вам и так приходят раз в месяц. Возьмите два последних и к каждому письменно задайте четыре вопроса из предыдущего раздела. Часть ответов вы найдёте в самом отчёте, часть придётся выяснять у автора, и по тому, как автор реагирует на такой запрос, видно, насколько цифрам можно доверять: тот, кто знает, откуда числа взялись, отвечает за минуту, а тот, кто взял их из чужой выгрузки, начинает искать.

Потом пригодятся школьные темы, которые мы разбираем отдельно, в статье школьная математика перед курсами по данным. Проценты и проценты процентов, доли, чтение графиков, простая вероятность: без них первые же статистические формулы оказываются набором непонятных символов, а с ними формулы читаются как запись того, что вы уже поняли на примерах.

Инструмент вторичен. Таблицы справляются с первыми задачами, а Python и специальные пакеты приходят позже, когда данных становится много или расчёты нужно повторять. Если ваша работа дойдёт до этого, тогда пригодится Python для взрослого, но порядок такой: сначала понять, что вы считаете, потом выбирать, чем.

Статистика на работе и статистика в магистратуре

Эти вещи легко спутать. Статистика для работы строится на вопросе «что это число значит» и почти не требует алгебры. Статистика в магистратуре, если она входит в вступительную программу, строится на выводах и доказательствах, у каждого вуза своя и проверяется письменно или устно. О математике для такого поступления написано в статье математика для поступления в магистратуру. Если вам нужен второй вариант, не готовьтесь по этому тексту: он вас не подготовит, потому что его задача другая.

Есть ещё одна сторона, о которой вспоминают поздно: цифры приходится объяснять. Сказать коллегам и руководству, что разница есть, но она небольшая, и данных пока мало, труднее, чем посчитать. А если встреча идёт на английском, к трудности прибавляется язык: как строить фразы про цифры на переговорах, разобрано в статье английский для переговоров.

Как заниматься с репетитором

Лучший материал для занятия — ваш собственный отчёт, за который вы отвечаете. Принесите таблицу, из которой сделали вывод, и вывод. Специалист просит объяснить, откуда взято число, кого оно описывает и какой вопрос задан данным. Часто половина проблем находится здесь, ещё до расчётов.

Показа экрана и общей доски в комнате нет, а урок не записывается, поэтому таблицу присылайте в чат заранее, вложением: файл в несколько тысяч строк укладывается в 20 МБ, а это предел для одного файла. Чат появляется, когда репетитор получил ваш контакт. Убирайте из файла всё, что не должно покидать компанию: имена, контакты, суммы по конкретным клиентам. Для разбора метода хватает десятка строк с теми же столбцами, а настоящую выгрузку вы всё равно будете считать сами, уже по понятному порядку действий.

Спросите заранее, работал ли специалист с прикладной статистикой, а не только со школьным курсом теории вероятностей: подход там разный. Общий порядок возвращения к учёбе описан в статье репетитор для взрослого: с чего начать обучение заново, а что подтягивают взрослые вместе со статистикой, видно в статье что подтягивают взрослые чаще всего.

Начать поиск:

• репетиторы по математике для взрослых
• репетиторы для взрослых
• репетиторы для взрослых с пробным занятием
• занятия вечером

Вопросы и ответы

Нужна ли высшая математика, чтобы читать статистику? Для чтения отчётов нет: хватает школьной базы и привычки спрашивать, откуда взялось число.

Чем среднее хуже медианы? Не хуже, они отвечают на разные вопросы: среднее нужно, когда считают общую сумму или общий объём, медиана, когда спрашивают о типичном случае. Плохо бывает, когда одно подают вместо другого, и особенно когда на перекошенных данных выдают среднее за «типичное».

Можно ли доверять результату сравнения, если он значим? Значимость говорит только о том, что разницу трудно объяснить случаем при условии, что сравнение собрано без искажений. Она не говорит, велика ли разница, и ничего не знает о том, как набирались данные. Поэтому рядом с «значимо» нужны размер разницы и число наблюдений, а при подозрении на отбор стоит вернуться к вопросу, как группы сформировались, потому что исправить плохой отбор расчётом не удаётся.