Post modified on
Všichni víme, že bychom měli inzeráty testovat pořád. Ale jak reklamy vyhodnotit, kdy je už dostatek dat, to je už není tak jasné. Doufám, že poslední část seriálu o PPC inzerátech vám na tyto otázky odpoví
Filtruj a segementuj!
Základem je segmentace – popisuje ve druhém díle série o testování reklam Martin Roettgerding (ale přečte te si určitě i ostatní díly pro lepší pochopení)
The Dark Side of Search Partners
Příklad tzv. Simpsonova paradoxu popsal Honza Zdarsa na PPC Offline. Pokud byste se podívali na agregované CTR, tak byste na obrázku níž vybrali reklamu A. Jenže, po rozdělení po segmentech je vidět, že jasným vítězem je reklama druhá. Díky lepšímu CTR reklama B vyhrála ve 4 krát více reklamních aukcích v síte serach partners než původní reklama A (a to ipřesto, že byla rotace nastavena na rovnoměrnou).
Ilustrační data nejsou ale daleko od reálných dat. Proto, kdykoliv vyhodnocuji reklamy, tak automaticky odfiltrovávám Search parners. Protože, jak říká Honza Zdarsa: „když to bude fungovat na Google.com, tak to bude fungovat i v partnerské síti.“
V šabloně na vyhodnocování inzerátů (která je na konci článku) taky automaticky odfiltrovávám tenhle traffic.
Rozdíl podle device
Podívejte se na následující graf rozdílu CTR na placené výsledky mezi mobilem a desktopem. A to jsou všechyn placené kliky (klasické vyhledávací i Shopping výsledky.
Navíc Google na mobilu ani většinou všechny 4 pozice nezobrazuje. Tak když už se reklama zobrazuje, tak dostane klik dostane, zatímco na destkopu je díky větší reklamní ploše i větší konkurence a CTR je tím pádem nižší
Shopping v retail sektoru tvořil koncem roku 2016 74% procent všech placených kliknutí (podle Crealytics). S rostoucím rozšiřováním to letos nebude pro texotvé reklamy lepší.
Celkem dost PPCčkařů říká, že mají reklamu pro obě zařízení, tak proč to oddělovat? Ale s výrazným rozdílem mezi zařízeními může dojít k Simpsonově paradoxu a usuzovat výsledek pomocí agregoavných data by mohla nakonec dopadnout jako v příkladu výš s partnerskou sítí.
Proto v šabloně na vyhodnocení reklam máte jak výstup pouze z desktopu, pouze z mobilu a potom agregovaná data.
Pro tip: Pokud nechcete segmentovat podle zařízení, tak si najděte klienty v Asii, kde budete pracovat jen s mobile trafficem 😀
Vliv pozic a umístění reklamy
V dnešní době feature snipettů je často první pozice na konci stránky a CTR je tam i úplně jinde, což by mi mohlo výrazně rozhodit výsledky a já bych nevybral lepšího vítěze. Protože averge position je celkem nepřesná metrika, proto ji také Google zrušil. Nepřesnost určení lokace v SERPU krásně to ilustruje Martin Roettinger v sérii článků, kde se právě pozicím věnuje.
Přesné umístění najdete pro prvních 5 pozic v „top“ umístění a první pozici v „other“. Všechny ostatní pozice „dole“ můžou být různě rozděleny viz obrázek výš, protože nikdy nevíte, kolik reklam je umístěno výš v bloku top.
Co ale využívat?
Segment Top vs. Other
V segmentu Top jsou reklamy, které jsou umístěny hned pod výsledkem vyhledávání
V segmentu Other jsou umístění, které nejsou přímo pod výsledkem vyhledávání – tj. pod shopping kampaně nebo i úplně na konci stránky.
Metriky, které ukazují umístění reklamy
Search impression top rate [Impr. (Top) %] jak často se vaše reklama zobrazila nad organickými výsledky děleno všechny imprese.
- čili se tam započítávají i Search partners
- mezi impresemi jsou i reklamní pozice u frází, kde jsou reklamy až po Featured snippet nebo po organické části. (Čili to neznačí nic o Ad Ranku – prostě jen bidujete na fráze, kde je reklama až pod organickými výsledky a zvýit bid by vám nepomohlo.)
Sami si to můžete ověřit – nastavte si segment Top vs. Others
Impr. (Top) % = součet Top impressí / Top+Other vám dá toto číslo
Má to tu výhodu, že si můžete udělat vlastní Impr. (Top) % pouze pro Google search (bez Search partners)
Impression absolute top rate [Impr. (Abs. Top) %] značí jak často je moje reklama na vrchu Top umístění ze všech impresí
Search absolute top impression rate = Impressions on the absolute top/Impressions
Můžete si lehce dopočítat, kolik impresí bylo skutečně v Abs. top
| Segment | impressions | Impr. (Top) % | Impr. (Abs. Top) % |
| TOTAL | 1500 | 67% | 10% |
| Abs. top | 150 | ||
| Top | 1000 | ||
| Other | 500 |
Nevýhoda těchto metrik je na rozdíl od avergae position to, že Avg. position šlo segmetnovat podle Top vs Other. Zatímco tady se vám ukáže jedno procento na celou ad group.
Ale neházejte flintu do žita. Při nastavení segmentu Network (with search partners) a device se procenta ukážou. A díky tomu si můžete vytáhnout kolik % bylo úplně na absolutním top pozici a díky tomu získám distribuci Abs. Top., zbytek top, a others –> něco jako Honza Zdarsa prezentoval na PPC Offline
Rozdělení podle jednotlivých pozic pomohlo hezky vizualizovat, jak si jednotlivé reklamy vedou – viz následující přehledy impresí jednotlicých variací reklam. Na první pohled je vidět, že varinta A škodí účtu.
Ale bylo by i super i na této úrovni vědět CTR (obzvlášt, pokud SEM experimenty jsou použité pro SEO meta titles a desciriptions)
Má vlastní metrika
Data o „klikách“ sice nemůžu žádným kouzlem rozdělit. Ale už vím, kolik kliků a impresí bylo z daného zařízení u konkrétní sítě a v Top pozici a zároveň vím, kolik % z impresí bylo na abs. top pozici –> vytvořím si vlastní metriku Abs. Top z Top = Abs. top / Top
| Segment | impressions | Impr. (Top) % | Impr. (Abs. Top) % | Abs. Top z Top % |
| TOTAL | 1500 | 67% | 10% | 15% |
| Abs. top | 150 | |||
| Top | 1000 | |||
| Other | 500 |
Sestavy si seskupím podle mé poslední metriky Abs. Top z Top % a podle toho měřím CTR právě abych měl srovnání podle toho, kde se reklama nejspíš umisťovala.
V Power Query přehledu jen rozděluju na 3 části, kde Abs. Top z Top % je od:
- 100-71 – většina Top pozic byla sktečně na prvním místě.
- 70-41 – střed, kdy Top pozice nebyli na „vrchu“, ale ani na spodu Top pozic
- 40-0 – menšina pozic byla na prvních pozicicíh
Pokud máte více dat, tak si Abs. Top z Top % můžete rozdělit na více částí. Výsledkem je vizualizace CTR po jednotlivých segmentech
Věřím, že s pomocí segmentů uvedených výše, budou data o metrikách závislých na impresích mnohem více odpovídat realitě. Podobně si můžete udělat vizualizaci, jako Honza Zdrasa s přehledem impresí. Jen místo pozic je má nová metrika Abs. Top z Top %.
Další metriky, které mají nahradit average position neberu tolik v potaz. Dalo by se s toho zjistit jaký je zhruba ad rank, ale to je spíš otázkou pro bidování a nebo pro vizualizaci trendu. Já stále pro bidding využívám průměrnou pozici, protože vidím data ihned a ne se zpožděním jako u impression share metrik. Real-time reporting pro změnu bidů na denní bázi pro mě bude velká ztráta.
Každopádně až v září průměrná pozice zmizí z metrik, tak si nebudete ani zpětně moci stáhnout data o průěmrné pozici. Tak si je nezapomeňte stáhnout (třeba pomocí BigQuery Data Transfer Service for Google Ads, jak to popisuje Dan Zrůst)
Pro tip – Valuetrack Parameter for ad position {adposition} si můžete přidat jako parametr za URL (a měřit si pozici i po ukončení metriky průměrná pozice)
Čekání na data
Ale jak dlouho budu muset čekat? Dokud nebudu mít dostatek dat, abych s 95% statistickou přesností určil vítěze? – NE, to nestačí. Tuhle přesnost můžeš mít i klidně po pár kliknutí – viz tabulka z webináře Brada Geddese
Někteří PPCčkaři se ženou za statistickou významnotí až jim uteče zdravý rozum. Velmi krásně to sepsal Martin Roettgerding, kde i s A/A testem naleznete vítěze s 95% statistickou přesností.
Určitě není dobré se unáhlit se s výsledky moc brzy. Ale na druhou stranu nechcete, aby vám běžela statisticky hůře performující reklama.
Minimum confidence levels
Já osobně každý den nekontrolouji, jeslti už mám dostsatek dat na vyhodnocené. Většinou si podle objemu dat řeknu, kdy si stáhnu data a udělám vyhodnocení. Při vyhodnocení si navíc porovnávám různé segmenty a metriky a pokud některé reklama napříč segmenty zaostává, tak si jsem celkem silně jistý, koho vypnu. Ovšem když to všechno takhle hezky rozsegentuju, tak je možná, že si dost dlouho počkám, aby mi u segmentů nezbylo jen pár kliků. Můžete na to použít některou online kalkulačku statistické významnosti. Ale většinou alespoň týden nebo dva počkejte.
Ale celkem jsem si oblíbil styl, kdy , když zvýšíš proklik o 1 a výrazně se ti nezmění CTR, tak to znamená, že už máš relativně dost dat. Jak to myslím:
| impressions | clicks | CTR | CTR (clicks +1) | CTR změna | Mám čekat? |
| 100 | 1 | 0.01 | 0.020 | 100% | ještě počkám |
| 1000 | 10 | 0.01 | 0.011 | 10% | so-so |
| 1000 | 20 | 0.02 | 0.021 | 5% | už dobrý |
Tenhle tip mi doporučila Markéta Kabátová z uLabu (kde dělají super PPC newsletter, tažke jestli ještě neodebíráš – tak honem!).
Power Query šablona na vyhodnocení reklam
Použití je opravdu jednoduché – do 3 minut máte vyhodnoceno – přesvědčte se sami z mého videa. Protože nechci ukazovat klientská data, tak jsem vyfiltroval všechny data bez konverze – což samozřejmě nedělejte.
Vstupní data
Vyfiltrujte si sestavy, které chcete vyhodnotit a nastavte si následující sloupce:
Ad, Campaign, Ad group, Status a Label – pro potřeby filtrování
Impr., Clicks, Cost, Conversions, Conv. value a Bounce rate – pro výpočet metrik
Impr. (Abs. Top)% a Impr. (Top) % – pro rozsegmenotvání o kterém jsem psal výše
Stáhněte si reklamy se segmentem device a Network a potom to samé ještě navíc s Top v. Other
Možná se divíte, proč nevyužívám Google Sheets – ze zkušenosti se mi více osvědčilo stáhnout si csv na disk – Google Sheet mě často limitoval maximálním počtem buňěk – nezapomínejte, že při takovém segmentování se buňky množí i u menších testů.
Cestu vašeho csv si musíte změnit ve zdroj Power Query – V Query group Input – u obou query (Ad report - device and network a Ad teport topvsother) – viz následující screenshoty
Úpravy ad variant
Pokud používáte PPC Bee, tak PowerQuery automaticky oddělí z konce URL název reklamy, kterou jste přidali v PPC Bee
- je na to připraven krok XXX – Ad variant a XXX – Ad variant 2 a XXX – Ad variant Final – zde jen vyberu z Final URL vše co je za
?ppcbee-adtext-variant=a nebo za&ppcbee-adtext-variant - Případně si můžete změnit Ad variant na Label, nebo jiný parametr podle vaší libosti.
Výstup a vizualizace
Finální výstup je v Query Main metrics – přidal jsem tam orpavdu hodně sloupců – pokud si budete chtít v Pivot table tvořit další vizualizaci. Power Query je super nástroj, ale není určený pro vizualizaci. Proto si potom výsledné zpracování řeším pomocí kontingenční tabulky.
Pokud vám nevyhovuje PowerQuery, tak můžete vyzkoušet skript po segmentech. Ale je použitelný spíš single ad group testování.
Next steps
Výsledek si nezapomeňte poznačit pro další testy. Třeba do podobné tabulky, kterou zmiňuji na začátku seriálu.
Zároveň pozastavte reklamu, která prohrála a vyměňte ji za novou. Tady se zase dostáváme, k struktuře v PPC Bee. Mám pro každou kategorii 2 reklamy. Kdybych přidal úplně novou reklamu, tak se mi ve výčtu reklam posune až úplně nakonec, což nechci. Tak si vždy prohraný inzerát přepíšu na nový a testuji znovu. Po určité době můžu použít úplně stejný Excel sheet, který mi díky Power Qeury hned zobrazí výsledky a já vím, jestli mám čekat dál, nebo můžu rozhodnout o vítězi.
Závěr
1. Když testuješ reklamy, tak hlavní snaha by měla být odhalení toho, co jsou ty pravé důvody, proč by u vás měli zákazníci nakoupit a co vlastně funguje an efunguje na vaši cílovku.
2. Udělej si dobrou „databázi“ testů – co se testovalo a jak to dopadlo
3. Promysli, jak a co budeš testovat – AB test nebo rovnou více variant najednou a co je hlavní krietérium pro výběr reklamy
4. Počkej na dostatek dat
5. Při vyhodnocování si dej pozor na serach partners a koukni na různé segmenty
6. Nepřestávej testovat. Klidně testuj i u smart biddingu a nerovnoměrné rotaci – pokud je reklama lepší, tak to z dat zjistíš.
Užijte si testování. Budu moc rád za zpětnou vazbu.
Uvidíme se na PPCEE!