Тред про аналитику, который должен был быть вчера:
1/ Очень часто мы верим данным, которым бы верить не стоило. Ошибка может возникнуть в любой момент: продакт не так поставил задачу по добавлению события, разработчик не так понял, не так реализовал, кто-то что-то поковырял, итд
2/ В итоге событий либо больше, либо меньше, либо они имеют странные значения. Для меня любая метрика, которая вдруг изменилась ни с того ни с сего - в первую очередь повод задать себе вопрос - а правильно ли она измеряется?
3/ Иногда ошибку найти легко, она заметна резким выбросом графика при просмотре, например, по часам. Иногда четко коррелирует с новым релизом. Иногда оказывается что метрика в какой-то день упала в ноль, а потом снова начала собираться, а вы смотрели по месяцам и не видели этого.
4/ Иногда стоит посмотреть на метрику в контексте других и задать себе вопрос, например, «а может ли у меня быть покупок больше чем нажатий на кнопку Купить?».
5/ В общем, в работе с данными надо придерживаться нескольких принципов: а) никогда нельзя вслепую верить данным, б) если что-то выглядит слишком хорошо, чтобы быть правдой - скорее всего это не правда
6/ в) у вас должен быть спортивный или даже охотничий интерес найти ошибку и получить достоверные данные, чтобы посмотреть данные в разных разрезах - временном, гео, источниках трафика, в сравнении с другими событиями и метриками