Ограничения

• рекламные системы определяются только по меткам, без учета url
• нет определения рекламной сети яндекса
• переносы строк и знаки табуляции заменяются на пробелы

Pазработка

• трекать отправку форм
• AdvEngine - сделать детект рекламы яндекса
• протестить определение перехода по рекламе на js
• SearchEngines - регурлярки в q params, добавить поддержку hiddenkeywords
• SearchEngines - бенчмарк строковых итераций и регулярок, использовать лучший вариант
• SearchEngines - поддержка доменов с path google.{}/cse

Полезные ссылки

• https://yandex.ru/adv/edu/metrika-start/bazovye-ponyatiya-prosmotry-vizity-posetiteli
• https://yandex.ru/support/metrika/sources/sources-summary.html
• https://yandex.ru/support/metrika/reports/ad-systems.html
• https://yandex.ru/support/metrika/sources/search-engines.html

Описание таблицы с данными

|Поле|Описание| |---|---| |HitID|Идентификатор просмотра| |HitDate|Дата события| |HitDateTime|Дата и время события| |CounterID|Номер счетчика| |ClientID|Идентификатор посетителя| |ExternalID|Идентификатор посетителя на сайте| |YandexID|Идентификатор яндекс метрики| |GoogleID|Идентификатор гугл аналитики| |VisitID|Идентификатор визита (сессии)| |IpAddress|IP адрес| |EventType|Тип события: 1-открытие страницы, 2-клик по ссылке| |URL|Адрес страницы| |Referer|Реферер| |Title|Заголовок страницы| |FormData|Данные формы| |PageCharset|Кодировка страницы сайта| |NetworkType|Тип соединения| |ClientTimeZone|Часовой пояс на компьютере посетителя| |CookieEnabled|Наличие Cookie| |PageLoadTime|Время загрузки страницы| |BrowserLanguage|Язык браузера| |JavaEnabled|Наличие Java| |NotificationsEnabled|Влключены оповещения в браузере| |IsIframe|Просмотр из iframe| |ScreenColors|Глубина цвета| |ScreenHeight|Логическая высота| |ScreenWidth|Логическая ширина| |WindowClientHeight|Высота окна| |WindowClientWidth|Ширина окна| |UserAgent|Юзерагент браузера| |UTMSource|UTM Source| |UTMMedium|UTM Medium| |UTMCampaign|UTM Campaign| |UTMContent|UTM Content| |UTMTerm|UTM Term| |OpenstatService|Openstat Service| |OpenstatCampaign|Openstat Campaign| |OpenstatAd|Openstat Ad| |OpenstatSource|Openstat Source| |Browser|Браузер| |BrowserMajorVersion|Major-версия браузера| |BrowserMinorVersion|Minor-версия браузера| |OperatingSystem|Операционная система| |OperatingSystemMajorVersion|Major-версия ОС| |OperatingSystemMinorVersion|Minor-версия ОС| |OperatingSystemPatchVersion|Patch-версия ОС| |DeviceBrand|Бренд| |DeviceModel|Модель| |RegionCountry|Страна| |RegionCountryIso|Страна (ISO)| |RegionCity|Город| |RegionLatitude|Широта| |RegionLongitude|Долгота| |SocialNetwork|Социальная сеть| |AdvEngine|Рекламная система| |SearchEngine|Поисковая система| |SearchPhrase|Поисковая фраза| |TrafficSource|Источник трафика|

TrafficSource

• direct - прямой заход
• referral - ссылки на сайтах
• external - переход с сайта на другие сайты
• internal - внутренний переход
• ad - реклама
• social - социалки
• saved - сохраненные страницы
• organic - поисковые системы
• email - письма

|TrafficSource|Вычисление| |---|---| |direct|Referer == ""| |referral|EventType == "1" && referer.Host != URL.Host| |external|EventType == "2"| |internal|referer.Host == URL.Host| |ad|AdvEngine не пусто| |social|SocialNetwork не пусто| |saved| file:///Documents/User/page.html или C:/Documents/User/page.html | |organic|SearchEngine не пусто или UTMMedium == "organic" | |email|UTMMedium OpenstatService OpenstatSource == "email" или "e-mail" |

AdvEngine

Информацию о других рекламных системах Метрика получает из меток — параметров в ссылке рекламного объявления. Если рекламная система не дополняет ссылку на ваш сайт меткой, вы можете самостоятельно скомпоновать ссылку с использованием меток UTM или Openstat, где в качестве значения параметра utm_source или, соответственно, Openstat Service следует задать:

• adfox — для AdFox;
• admitad — для Admitad;
• adnews — для AdNews;
• adnous — для ADNOUS;
• adriver — для AdRiver;
• advmaker — для Advmaker.ru;
• aport (aport.ru) — для Апорт;
• AvitoPromo — для Avito Промо;
• AvitoContext — для AvitoКонтекст;
• begun — для Begun;
• bing — для Bing Ads;
• B2BContext — для B2BContext;
• criteo — для Criteo;
• directadvert (directadvert.ru) — для Direct/ADVERT;
• drivenetwork — для DriveNetwork;
• facebook (fb, facebook.com, fb.com) — для Facebook;
• giraffio — для giraffe.io (AppCity);
• google (adwords, adsense) — для Google;
• instagram — для Instagram;
• kavanga — для Каванга;
• ladycenter — Ladycenter;
• link — для ЛинкРУ;
• magna — для Magna Context;
• marketgid — для МаркетГид;
• medialand — для Medialand;
• merchant — для Google Merchant;
• moimir — для Мой мир Mail.ru;
• nnn (nnn.ru) — для NNN (National News Network);
• odnoklassniki — для Одноклассники;
• price (price.ru) — для Price.ru;
• prre — для PRRE.RU;
• mytarget (targetmailru) — для myTarget (Target Mail.ru);
• taboola — для Taboola;
• torg.mail.ru — для Товары Mail.ru;
• trorer (rorer) — для RORER;
• Ttarget — для tTarget;
• ubn.ua (banner.ua) — для Украинской Баннерной Сети;
• videonow — для Videonow.ru;
• vkontakte (vk, vk.com) — для ВКонтакте;
• whisla — для Whisla;
• youtube — для YouTube.

Затем использовать полученную ссылку в рекламной кампании.

Если в UTM-метке указано значение параметра utm_source, которое отсутствует в списке выше, Метрика определяет источник перехода по значению параметра utm_medium: cpc, ppc, paidsearch, cpv, cpa, cpp, display, cpm или banner

Используемые библиотеки

• maxmind - извлечение информации по ip
• ua-parser - парсер юзерагента, определение браузера, ОС, девайса
• piwik/searchengine-and-social-list - список поисковиков и социалок
• gavingmiller/second-level-domains - список доменов первого и второго уровня