Математика для аналитика данных

Условный случай, который часто разбирают на первых занятиях. Болезнь встречается примерно у одного человека из ста. Тест находит больного в девяти случаях из десяти, а у здорового срабатывает ошибочно в пяти случаях из ста. Человек получил положительный результат. Вероятность, что он действительно болен, составляет около пятнадцати процентов, а вовсе не девяносто, как подсказывает интуиция, и тот, кто это понял, уже владеет значительной частью математики, которую аналитику данных предстоит применять каждый день. Числа здесь условные, они нужны для разбора, а не для выводов о болезнях.

Этот пример хорош тем, что для него не нужны ни производные, ни матрицы. Нужны проценты и умение думать о долях. Именно с них я и предлагаю начинать, а о том, что можно отложить, скажу ниже.

Проценты и доли: самая дешёвая и самая частая ошибка

Аналитику чаще всего приходится сообщать, что что-то выросло или упало, и самая распространённая ошибка живёт здесь. Конверсия с четырёх процентов поднялась до пяти. Это рост на один процентный пункт и одновременно на двадцать пять процентов относительно прежнего значения. Обе формулировки верны, и они звучат совершенно по-разному. Тот, кто не различает их, рано или поздно сообщит руководителю «выросла на один» и услышит в ответ «всего-то», хотя выросла она на четверть.

Вторая ловушка — проценты подряд. Цена выросла на десять процентов, затем упала на десять: если исходная была сто, то после роста она сто десять, а после падения девяносто девять, а не сто. Это очевидно, когда расписано числами, и неочевидно в потоке отчёта, где два процента стоят рядом.

Ещё одна путаница — доля от доли. Если вернулись двадцать процентов клиентов, а из вернувшихся купили снова тридцать процентов, то снова купили шесть процентов от всех клиентов, а не тридцать. В отчёте эти две цифры стоят рядом и читаются как одно целое, пока кто-то не спросит, от чего считалась каждая.

Если вам приходится пересчитывать такое на листке, а не в уме, это нормально: аналитик, который проверяет на пальцах, обычно надёжнее того, кто доверяет интуиции. Для взрослых это одно из самых запущенных мест: проценты в школе проходят в пятом-шестом классе, потом почти нигде не встречаются, и вдруг на работе оказываются везде.

Среднее, медиана и разброс

Среднее арифметическое — самая известная и самая подводящая статистика. Пять человек, четверо получают по сто, один шестьсот: среднее двести, медиана сто. «Средняя зарплата в команде двести» — правда, которая вводит в заблуждение, потому что ни один человек в команде столько не получает. Медиана, середина упорядоченного ряда, здесь отвечает на вопрос «сколько обычно», а среднее на вопрос «сколько в сумме на каждого».

Разброс — третья вещь, которую стоит чувствовать. Два набора чисел могут иметь одно среднее и жить совсем по-разному: один кучно, другой с провалами и выбросами. Стандартное отклонение показывает размах, и привыкнуть к нему лучше всего на двух реальных столбцах из вашей таблицы: посчитать среднее, медиану и отклонение и сравнить. Часто сразу видна причина, почему отчёт «не сходится» с ощущением.

С выбросами аналитик встречается постоянно, и первая реакция, убрать их из выборки, часто неверна. Выброс может быть ошибкой ввода, а может быть самым интересным наблюдением в таблице: один необычно крупный заказ способен объяснить половину выручки. Сначала нужно выяснить, откуда число взялось, и только потом решать, что с ним делать. Математика тут простая, сложнее остановиться и спросить.

Об этом сказано гораздо подробнее в статье статистика для работы: с чего начать, и повторять её здесь я не буду.

Вероятность: возвращаемся к тесту

Вернёмся к началу. Задачу о тесте проще всего решать частотами, без формулы. Возьмите десять тысяч человек. Больны сто из них, то есть один процент. Из ста больных тест найдёт девяносто. Из девяти тысяч девятисот здоровых он ошибочно сработает у четырёхсот девяноста пяти, это пять процентов. Положительный результат получили девяносто плюс четыреста девяносто пять, всего пятьсот восемьдесят пять человек, и больны из них девяносто, то есть чуть больше пятнадцати процентов.

Такой способ, подсчёт на воображаемой толпе, надёжнее формулы Байеса, пока вы привыкаете. Формула та же самая, просто вы видите, откуда берутся числа. И к ней стоит прийти потом, когда способ частот будет понятен.

Рядом стоит значение p, которое аналитику встречается с первой недели и понимается неверно чаще всего. Оно показывает, насколько вероятно получить такие или более крайние данные, если проверяемое предположение верно. Оно не показывает вероятность того, что предположение верно, и эту путаницу невозможно исправить, не пройдя рассуждение с условной вероятностью.

Ещё одно место, где интуиция подводит: независимые события перемножаются. Два теста с точностью по девяносто процентов, сделанные независимо, оба верны в восьмидесяти одном проценте случаев, а не в девяноста. Для проверки гипотез и для рассуждений о надёжности цепочки операций это важный и простой факт.

Что можно отложить

На первый год работы аналитиком математический анализ нужен заметно меньше, чем вероятность и статистика, и расставлять их стоит в этом порядке. Производные и интегралы полезны, но в большинстве рабочих задач они остаются за кадром, спрятанные в библиотеках. Что можно оставить на потом без большого риска:

• производные и интегралы: понадобятся, когда вы начнёте разбираться в том, как обучаются модели
• линейная алгебра глубже умножения матриц: нужна для машинного обучения, а для отчётов не нужна
• комбинаторика сложнее перестановок и сочетаний: пригождается редко
• доказательства теорем: вам нужно понимать результат, а не вывод

Один раздел анализа откладывать не стоит — логарифмы. Они встречаются на графиках, где шкала логарифмическая: каждая клетка там означает умножение в десять раз, а не прибавление, и тот, кто читает такую шкалу как обычную, сильно ошибается в оценке роста. Это не высшая математика, она есть в школьном курсе, и вспомнить её нужно в первую очередь.

Одно исключение очевидно: если вы идёте в машинное обучение, порядок обратный. Но и тогда проценты и доли стоят первыми, потому что без них вы не поймёте, что говорит ваша метрика.

Корреляция и малые выборки

Две вещи, на которых аналитик теряет доверие коллег, не требуют никакой высшей математики. Первая — корреляция. Две величины меняются вместе, из этого ещё не следует, что одна вызывает другую: в тёплые месяцы растут и продажи мороженого, и число несчастных случаев на воде, и причина общая, лето. Вторая — размер выборки. В маленьких группах крайние значения встречаются чаще просто потому, что мало наблюдений: самый высокий и самый низкий результат нередко оказываются у самых малочисленных групп, и это ещё не повод делать вывод. Тот, кто видит такие ловушки заранее, спрашивает «сколько наблюдений?» и «что общего у этих двух величин?» вместо того, чтобы радоваться красивому графику.

Как заниматься, если вы уже работаете с данными

Лучший материал для занятий у вас уже есть — ваши собственные таблицы. Возьмите столбец из рабочей выгрузки, не содержащий лишнего, и спросите: какое тут среднее, что показывает медиана, откуда выбросы. Экрана на платформе не показать, и репетитор не видит вашу таблицу, поэтому приносите несколько строк из неё: их можно прочесть вслух или напечатать в чате. Названия клиентов и точные суммы уберите заранее: для разбора достаточно структуры и порядка величин.

Полезна и тетрадь формулировок, куда после каждого разбора вы записываете одно предложение: что именно значит это число простыми словами и как оно может обмануть. Через месяц такая тетрадь работает как набор готовых проверочных вопросов к собственным отчётам, и составить её никто не заменит: чужие формулировки не запоминаются.

Считать можно на бумаге, в таблице и, если вы уже умеете, в коде. Если вы только начинаете программировать, статья Python для взрослого описывает, как вести математику и код параллельно, не давая одному вытеснить другое. Взрослый здесь быстрее подростка: он видел такие таблицы и понимает, что за числом стоит. Медленнее он обычно в записи: выражения с дробями и степенями требуют беглости, которую надо вернуть. Репетитор по математике может не знать вашей таблицы, но он должен уметь спрашивать про смысл числа: чем оно отличается от соседнего и почему вы ему верите.

Школьный курс как карта

Проценты, функции и графики, вероятность — всё это есть в школьном курсе, и пробел у взрослого лежит скорее в привычке, чем в знании: формулу вы когда-то видели, а проверять на ней свой рабочий вывод не привыкли. Какие разделы там представлены и как они называются, видно из статьи структура ЕГЭ по профильной математике: для аналитика она полезна как карта, но порядок и глубина вам нужны другие. Если вы готовитесь к курсам по данным, возвращаться к школе стоит в формате, описанном в статье школьная математика перед курсами по данным, а если пробелов много, выборочный способ показан в статье как вспомнить школьную программу: он строится от задачи, а не от оглавления.

Документация библиотек и учебные материалы по анализу данных написаны в основном по-английски, и это ещё одна причина не откладывать язык: с чего начинать, разбирает английский для IT. Общая карта запросов взрослых собрана в статье что подтягивают взрослые чаще всего, а о возвращении к учёбе после перерыва написано в репетиторе для взрослого.

Начать поиск:

• репетиторы по математике
• репетиторы для взрослых
• репетиторы по математике с пробным занятием
• занятия по математике по вечерам

Вопросы и ответы

Нужна ли высшая математика, чтобы стать аналитиком? Для первых задач нет: проценты, среднее, медиана и вероятность закрывают большую их часть. Для движения в сторону моделей да, понадобятся линейная алгебра и производные, но это следующий этап, и начинать его имеет смысл, когда вы уже назвали, какие именно модели вам нужны.

Хватит ли школьной математики? Для большей части отчётной работы хватит, если вы умеете с ней обращаться: именно в этом на практике и состоит проблема. Школьный курс вы когда-то прошли, но проценты, доли, графики и вероятность требуют привычки, а не знания, и привычка за годы пропала. Поэтому формулировка «хватит ли школьной» неверна: правильнее спросить, насколько она у вас в рабочей форме. Проверьте на задачах про процентные пункты и условную вероятность из этой статьи: если вы решили их с первого раза и объяснили вслух, то в рабочей.

Как заниматься, если вечером нет сил? Занимайтесь короче, но чаще. Сорок пять минут вечером лучше девяноста, на которых вы клюёте носом.

Нужен ли репетитор или хватит курса? Если у вас есть курс с проверкой и вы его проходите, репетитор добавит мало. Он нужен там, где курс не отвечает на ваш вопрос: например, когда вы не понимаете, откуда взялась формула, а лектор пошёл дальше.