Crincum's Blog

Category: Анализ данных (лекции)

  • Выборки в анализе данных

    Выборки в анализе данных

    Зачем вообще нужна выборка?

    1. Иначе будет очень дорого опрашивать всех.
    2. Многие данные полностью просто не доступны.

    Какие бывают выборки?

    1. Простая случайная. Обычный рэндом.
    2. Механическая. Выбираем один случайный элемент и с определенным шагом начинаем выбирать элементы.
    3. Стратифицированная. Мы знаем что то про генеральную совокупность. Мы делим ее на страты и случайным образом выбираем из каждой страты. Например, мужчины и женщины.
    4. Гнездовая (кластерная). Например, группируем районы города на кластеры по важным нам свойствам и случайно опрашиваем не все районы, а представителей каждого кластера.

    Неслучайные выборки

    Все неслучайный выборки не репрезентативны, но иногда других способов получить данные нет.

    1. Метод “снежного кома”. Незаменимы для исследования экспертов или для исследования труднодоступных групп. Мы находим одного и он дает нам контакты следующих людей и т.д. Часто запускают несколько таких комков.
    2. Квотная.

    Ошибки выборки

    N – объем генеральной совокупности
    n – объем выборки
    Далее мы считаем среднее по выборке (\overline{X}) и среднее по генеральной совокупности (μ).
    Разница между среднем значением показателя в выборочной и генеральной совокупности и будет называться Ошибкой выборки.
    Предельная ошибка выборки – это максимально возможное расхождение средних значений выборки и генеральной совокупности с заданной вероятностью.

    Коэффициент доверия Стьюдента (t).

    Он зависит от вероятности, с которой определяется предельная ошибка выборки.
    Для вероятности p = 95%, t = 1,96

    Пример, все кафе Москвы

    Мы знаем средний чек в этих заведениях и хотим на основе выборки в 294 заведения из 5802 заведений подсчитать средний чек в генеральной совокупности.
    N = 5802 заведения. Размер генеральной совокупности
    n = 294 заведений. Размер выборки.
    \overline{X} = 989 рублей. Средний чек для заведений из выборки.
    s2= 461504.5432. Несмещенная дисперсия. Выборочная дисперсия – это оценка теоретической дисперсии распределения, рассчитанная на основе данных выборки относительно среднего значения в выборки. Дисперсия – мера отклонения случайной величины от ее математического ожидания. Математическое ожидание – среднее значение, которое принимает случайная величина (функция случайной величины).
    p = 95%. Вероятность с которой мы хотим подсчитать средний чек в заведении на основе выборки.
    t = 1.96. Коэффициент доверия Стьюдента для 95% вероятности.
    \Delta_{\overline{X}} = 75.66 рублей. Предельная ошибка, рассчитанная по формуле выше.

    Доверительный интервал

    Доверительный интервал – это интервал, в который попадает неизвестный параметр (например, средний чек для заведений Москвы) с заданной вероятностью. Вероятность можно определять с помощью коэффициента доверия Стьюдента.

    Левая граница – это среднее по выборки минус предельная ошибка. А для правой границы доверительного интервала – среднее по выборке плюс предельная ошибка.

    \overline{X} - \Delta_{\overline{X}} < \mu < \overline{X} + \Delta_{\overline{X}}

    Пример доверительного интервала для среднего чека по всей генеральной совокупности получился 913.34 < μ < 1064.66 рублей. А для всей генеральной совокупности истинный средний чек равен μN = 956 рублей. Он попадает в наш 95% доверительный интервал.

  • Меры и типы переменных: что и где применимо?

    Диаграмма переменных распределенных по количеству данных, которые они несут.

     

     

  • Как оценить по выборке генеральную совокупность? (Меры центральной тенденции)

    Чтобы оценить по выборочным данным генеральную совокупность,

    нам нужно знать следующие вещи, чтобы описать распределение характеристики в генеральной совокупности объектов:
    1. Где находятся типичные значения характеристики. => Меры среднего
    2. То, насколько эти значения разрознены, насколько они не одинаковые => Меры разброса (вариативности)

    Как подсчитать меры среднего?

    1. Среднее арифметическое

    Подходит для нормальных распределений, где нет выдающихся значений.

    2. Рассчитать усечённые статистики

    Пример: есть компания, где зарплаты распределены с 15 000 до 50 000 руб. Среднее арифметическое = 23 000 руб. И тут появляется работник, которому начинают платить 150 000 руб. Среднее арифметическое станет в районе = 33 000 руб, со стороны это может дать сигнал, что в компании люди стали получать больше, но на самом деле это не так.

    Если есть выбросы и распределение “Паранормальное”, то мы можем рассчитать усеченные статистики. Тоже арифметическое среднее, но мы отбросим самый маленький и самый большой результаты. Так делают в спорте, когда судьи оценивают, две крайние оценки отбрасывают при расчете.

    3. Робастные статистики

    Тоже вариант расчета для паранормальных распределений с выбросами. Это статистики, которые сами по себе не чувствительны к выбросам.

    3.1 Моду – это самое распространенное значение

    Мода незаменима для номинальных распределений, на непрерывных, дискретных и порядковых она дает не самые лучшие результаты. Если посмотреть на выборку зарплат, то единственное значение, которое встречается 2 раза – это 15 000 руб. Это и есть Мода.

    Мода подходит для бимодальных распределений. Например, когда есть данные по расходу бензина в городе (для пробок) и на трассе (тогда распределение будет выглядеть именно так). Или когда есть средний бал ЕГЭ в российских школах и есть 2 типа школ: обычные и специальные и в подготовке детей в обоих школах большой разрыв.

    Такое распределение говорит о том, что есть какие то группы, которые возможно есть смысл рассматривать отдельно.

    3.2 Медиана (подкласс робастных статистик)

    Если мы возьмем вариационный ряд, то в нем легко найти медиану.

    Пример на зарплатах в компании:

    Для значений с выбросом: 12000 15000 15000 16000 20000 25000 27000 28000 30000 50000 150000

    • Мода = 15000
    • Медиана = 25000
    • Среднее = 35272

    Итого, если есть выбросы, то лучше использовать Усеченные или робастные статистики.

  • Типы данных в анализе данных и вычисление выборочной квантили

    Номинальные – содержат меньше всего информации, принадлежность объектов к определенной группе. Мужчины, женщины; совы, жаворонки;

    Порядковые – тоже содержит принадлежность к группе, но кроме того определено и отношение порядка между значениями. Насколько вы счастливы по шкале от 1 до 9.

    Дискретные (интервальные) – и отношение к группе и порядок, но еще цифры означают сами себя и кроме порядка у нас определено расстояние между значениями. Не просто 2 < 5, но еще и 2 меньше 5 ровно на 3. И 4 меньше 7 ровно на те же 3.

    Непрерывные – дни, часы, секунды, рубли, копейки миллионы.

    Выборка

    Допустим у нас есть случайная величина ξ (кси) и у нее есть некоторый закон распределения ξ = Fξ(x). Мы работаем не со случайной величиной, а с некоторым набором реализации данной случайной величины.
    Наблюдения X1,…,Xn должны удовлетворять следующим правилам, чтобы предотвратить смесь выборки (типа смесь выборки очень плохо).
    1. Независимы друг от друга
    2. Одинаково распределены
    Смесь выборки – это ситуация, когда в выборке есть набор реализаций двух или более случайных величин с разными распределениями.
    Выборка – это некоторый конечный набор реализации случайной величины, которой мы извлекаем из некоторой генеральной совокупности.
    Порядковая статистика (больше одинаковых терминов богу терминов) –
    Используется для получения выборочных квантилей – значение, которая имеющая у нас случайная величина не превосходит с заданной вероятностью α.
    Если у нас есть случайная величина и мы знает ее закон распределения, то через функцию распределения мы можем подсчитать квантиль для любой нужной нам вероятности.
    Если закона распределения у нас нет, есть только выборка, набор реализаций случайной величины и мы хотим подсчитать квантиль. В этом случае мы считаем выборочную квантиль:
    1. Упорядочиваем нашу выборку X(1) < X(2) < X(3) < … < X(n). Строим вариационный ряд.
    2. Берем выборочную квантиль, как порядковую статистику, где номер порядковой статистики определяется как целая часть от произведения нужной нам вероятности на объем выборки. tα = X([α*n]), где α – заданная вероятность, n – объем выборки.

    Пример

    Есть некая выборка кликов по фирме в день и мы хотим подсчитать больше какого количества кликов получит данная фирма с вероятностью 90%?
    1. Мы упорядочиваем выборку, т.е. строим вариационный ряд.
    2. В этом случае нам нужна 10% выборочная квантиль. α = 0,9 => 1- α = 0,1
    3. Так как объем выборки у нас равен n = 22 и нам нужны 10%, то мы получаем, что нам нужна вторая порядковая статистика [(1 – α)*n] = [0,1*22] = [2,2] = 2
    4. Вторая порядковая статистика t0,1 = X(2) = 214
    5. По имеющейся у нас выборке, данная фирма получит больше 214 в день с вероятностью 90%

  • Распределения случайных величин

    Когда вы работаете со случайными величинами всегда нужно знать к какому распределению они принадлежат.

    Равномерное непрерывное распределение

    Экспоненциальное непрерывное распределение

    Экспоне́нта — показательная функция , где  — число Эйлера .

    Пример:

    Нормальные непрерывные распределения

    Коэффициент сдвига (μ) – то, насколько центр сдвинут по оси Х.

     

    Значение случайной величины, которое распределено нормально находится в интервале от коэффициента сдвига ± три коэффициента масштаба.

    Логонормальные непрерывные распределения

    Для случайных величин, которые не могут быть по своей природе быть меньше ноляпридумано Логонормальное распределение.

    Задачка

    Если данные распределены логнормально со значениями 5 (коэф. сдвига) и 1 (коэф. масштаба). Какова вероятность, что страничка компании получит количество кликов в интервале от 150 до 200?
     Если сперва значения прологорифмировать, то получим ту же самую цифру

    Дискретные величины

    Распределение Бернулли

    значения 0 или 1. Подбрасывание монетки.
    Математическое ожидание (для случайной величины распределенной по закону Бернулли) равно просто вероятности успеха. Mξ = p
    Дисперсия (для случайной величины распределенной по закону Бернулли) Dξ = pq = p(1-p); q – вероятность неудачи.
    Пример: Подбрасывание монетки, CTR баннера.

    Биномиальное распределение

    Мы проводим n испытаний и в каждом конкретном случае работаем с величиной распределенной по закону Бернулли.
    Биномиальное распределение показывает нам вероятность успеха в серии из n испытаний.

    Пример:

    Успеет ли девушка из колл центра, которая совершает до обеда 30 звонков, дозвониться до 25 фирм? Если вероятность дозвона по статистике  P = 0,53; объем выборки n = 30 звонков. P {ξ ≥ 25} -?
    Для решения нужно подсчитать значение функции вероятности для значений p25, p26, p27, p28, p29, p30 и сложить их вместе
    Итого: шансов у девушки очень мало дозвониться до 25 или более фирм из 30ти попыток.

  • Основы теории вероятностей (терминология)

    Терминология

    Случайный эксперимент – это любой эксперимент, результат которого не определяется начальными условиями. Пример: подбрасываение кубика.

    Элементарный исход (ω, “омега”) – это любой возможный исход случайного эксперимента. Пример: выпадение какой либо грани.

    Пространство элементарных исходов  (ω, “омега”) – множество всех возможных элементарных исходов эксперимента.
    Ω = {ω1,ω2,ω3,ω4,ω5,ω6}

     

    Случайное событие – подмножество пространства элементарных исходов случайного эксперимента. Пример: в случае с кубиком, нас интересует выпадение четного количества очков.

     

    Случайная величина (ξ, “кси”) – функция, ставящая в соответствие каждому элементарному исходу некоторое число из множества (в общем случае) действительных чисел. Пример: Если кубик имеет не пронумерованные, а цветные грани, то мы каждой грани назначаем некоторый вес (действительное число) и это позволяет перейти к оперированию числами.
    ξ: Ω → R

     

    Вероятность (P) – это мера, которая выражает возможность данного события по отношению к другим исходам.
    m – объем пространства элементарных исходов
    A – случайное событие эксперимента
    k – объем множества элементарных исходов
    P (A) = k / A
    Пример: выпадения четного количества очков на кубике пространства элементарных исходов объема 6. Множество элементарных исходов, которое соответсвует интересующему нас случайному событию – 3.

    Статистическая вероятность

    Что делать, если мы не можем четко определить ни пространство элементарный исходов, ни множество элементарных исходов, которое соответствует интересующему нас случайному событию? Проводим некоторое количество экспериментов.

    A – некоторое случайное событие. Которое нас интересует как результат эксперимента, которое может произойти, либо не произойти.
    n – количество экспериментов. Выборка реализации случайного эксперимента.
    nA – количество удачных экспериментов
    Частота выпадения A и называется статистической вероятностью.
    P* (A) = nA / n
    Чем больше количество экспериментов, тем точнее статистическая вероятность оценивает некоторую истинную вероятность события, которая в общем случае нам неизвестна.

    Свойства вероятности

    Первое свойство вероятности

    Вероятность несуществующего события равно нулю
    P (Ø) = 0
    P – вероятность
    Ø – несуществующее событие

    Второе свойство вероятности

    P (Ā) = 1 – P(A)
    A – некоторое событие
    Ā – обратное событие

    Третье свойство вероятности

    Если событие A вложено в B, либо входит в B, то вероятность возникновения A меньше, чем вероятность возникновения события BЕсли A ⊃ B, то P(A) ≤ P(B)

    Следствие третьего свойства

    Четвертое свойство вероятности

    Вероятность любого события, всегда находится между 0 и 1
    0 ≤ P(A) ≤ 1

    Пятое свой свойство вероятности

    P(A∪B) = P(A) + P(B) – P(A∩B)

    Свойство независимых событий

    Свойства A и B называются независимыми, если вероятность их совместного события равна произведению вероятностей их событий по отдельности.
    P(AB) = P(A)P(B)
    Пример: если я буду кидать игральную кость и кидать монетку. То выпадения значений на кости и монетки совершенно не будут зависеть друг от друга. Могу даже кость потерять и от этого вероятность выпадения орла на монетке никак не изменится.

    Характеристики случайных величин

    Случайная величина – функция, перевода из множества элементарных исходов в множество действительных чисел.
    Непрерывные случайные величины – переводят пространство элементарных исходов во множество действительных чисел.
    Пример: Время до какого то события, до прибытия транспорта на остановку.
    Дискретные случайные величины – переводят пространство элементарных исходов в некоторое конечное, либо, в общем случае, счетное множество. Пример: подбрасывание игрального кубика. Переводит из пространства элементарных исходов в 6ть граний, в числовое пространство от 1 до 6ти.

    Функция распределения вероятностей

    Функция распределения – это вероятность попадания случайной величины в интервал от -∞ до x
    Fξ(x) = P{ξ≤x}, x ∈ R

    Свойства функции распределения

    Функция плотности

    Используется для непрерывных случайных величин. Показывает нам частоту с которой случайная величина принимает те или иные значения

    Свойство функции плотности

    Площадь под функцией всегда равна единице. Интеграл по всей области значения всегда равен единице.

    Функция вероятности

    (для дискретных случайных величин)
    P{ξ = xk} = pk

    Квантиль

    Квантиль – это значение, которое случайная величина не превышает с какой то заданной вероятностью.
    tα = F-1(α)

     

    Чаще всего квантили считают для значений 0,25; 0,5; 0,75 – это квартили.

    Математическое ожидание и дисперсия

    Математическое ожидание – среднее значение, которое принимает случайная величина (функция случайной величины).
    Дисперсия – это мера отклонения случайной величины от ее математического ожидания