VetFamily: измерване и тестове за имейл (25.09.2026)
Всяко число тук е от audit/*.csv и audit/OUR-ACCOUNT-AUDIT.md (API 25.09.2026), маркирано [V] = проверено или [I] = извод/хипотеза. Никакви обещани uplift проценти: минималните извадки по-долу показват какво реално може да се засече при нашия обем, не какво "трябва" да очакваме.
1. Метрики: основни и вторични
Основни (по всяко изпращане, campaign или flow message): - Приход на доставено писмо (revenue per recipient / per delivered) - Поръчки (conversions) - Клик на доставено писмо (click rate) - Unsubscribe rate - Spam complaint rate - Bounce rate
Вторични: Opens. Apple Mail Privacy Protection предварително зарежда pixel-и от есента на 2021 г. и изкуствено вдига open rate за голяма част от iOS/macOS получателите ни (без точен % за нашия акаунт, не проверено в тази задача). Open rate може да се гледа само за грубо сравнение в рамките на един и същ месец/поток, никога като абсолютно число и никога като primary decision метрика.
2. База (реални числа, с деноминатори)
2.1 Flows, 90 дни / 365 дни ([V], audit/FLOW-MESSAGE-PERFORMANCE.csv, audit/OUR-ACCOUNT-AUDIT.md §4)
| Flow | Доставени 90д | Приход/получател 90д € | Доставени 365д | Приход/получател 365д € | Unsub 365д |
|---|---|---|---|---|---|
| Welcome (Uis229, E1 куче) | 702 | 6,01 | 2 943 | 7,77 | 0,51% |
| Browse Abandon (SnMJWv, E1) | 1 480 | 1,05 | 7 579 | 1,11 | 0,25% |
| Cart Abandon Middleware (WQv2gW, E1) | 186 | 3,71 | 1 781 | 5,02 | 0,11% |
| Checkout Started (Wnjjhm, E3) | 229 | 1,93 | 503 | 1,97 | 0% |
| Post-Purchase (ThEpRb, E1) | 39 | 5,72 | 112 | 1,99 | 1,79% |
| Replenishment Final (Uwr6rF, E8) | 914 | 0,03 | 5 203 | 0,32 | 0,21% |
| Winback (XUB8KR, E2) | 1 368 | 0,90 | 7 644 | 1,07 | 0,33% |
2.2 Кампании, 90 дни / 365 дни ([V], audit/CAMPAIGNS-365D.csv)
| Период | # кампании | Общ приход € | Среден delivered/кампания | Среден click rate | Среден conv/delivered |
|---|---|---|---|---|---|
| 90 дни (4 кампании) | 4 | ≈3 294 | ≈3 285 | ≈2,07% | ≈0,39% |
| 365 дни (18 кампании) | 18 | ≈30 452 | ≈7 200 | ≈1,90% | ≈0,29% |
Черен петък 2025 е извънреден пик (14 333 recipients, 8 500 € приход, 2,88% click) и дърпа средните нагоре; не го използвай като типичен baseline за обикновена промо кампания.
3. Атрибуция
[V] Klaviyo-attributed revenue = последно докоснат/click-through в рамките на профила, по подразбиране на Reporting API. Това НЕ е инкрементален приход. Attribution window: не е потвърден изрично в тази сесия, провери в Klaviyo Settings преди да цитираш срока пред собственика. Не приравнявай 126 556 €/365д на реален lift или профит.
4. Отчетна каденция (седмичен dashboard)
Полета за седмичен преглед: изпратени кампании (брой), приход на доставено писмо (кампании и flows поотделно), поръчки, click rate, unsub % на изпращане (флаг над 0,4%), spam % (флаг над 0,05%), bounce % (флаг над 2,5%), брой активни/мъртви flows (следи дали някой от 5-те мъртви се е поправил), размер на Engaged 90D/30D сегментите (следи свиване), размер на Unengaged/Suppressed (следи растеж без sunset поток).
5. Приоритизирани A/B тестове (8-10, с реалистична извадка)
Формула за минимална извадка на арм (двупропорционален тест, ~80% мощност, α=0,05, приближение): n ≈ 16 × p × (1-p) / delta², където p = базова конверсия/клик, delta = абсолютната разлика, която искаме да засечем.
| # | Тест | Хипотеза | Аудитория | Променлива | Основна метрика | Guardrails | Мин. извадка/арм | Засечим ефект при нашия обем | Решаващо правило |
|---|---|---|---|---|---|---|---|---|---|
| 1 | Subject line: полза vs любопитство | Конкретна полза в subject вдига click rate | Engaged 90D+кампания аудитория (~4-7к/изпращане) | Subject line framing | Click rate (база ≈2%) | Unsub <0,4%, spam <0,05% | ~3 100 (delta 1пп, p=0,02) | ~50% относителен ръст в 1 изпращане | Печели вариант с по-висок click rate при p<0,05; ако няма разлика, пази текущия формат |
| 2 | Индивидуален CTA на продукт vs 1 общ CTA | Отделен "Купи" бутон на всеки продукт вдига click rate (course benchmark +25%, недоказан за нас) | Същата база | Брой/тип CTA бутони | Click rate | Същите | ~3 100 | ~50% относителен ръст в 1 изпращане | Печели по click rate; провери и revenue/recipient като втори поглед |
| 3 | Образователно писмо без оферта vs същото + мек продукт CTA | Мекият CTA не намалява engagement, добавя приход | Engaged 90D, 2-3 последователни изпращания | Наличие на продуктов CTA блок | Приход/получател | Unsub <0,4% | Нужни 2-3 месеца агрегирани изпращания (база p=0,004 conv, delta 0,004 за 2х ефект → ~4 000/арм) | Само ~2х или по-голяма разлика в conv rate | Печели по приход/получател, не по click само |
| 4 | Welcome единна оферта (10% навсякъде) vs текущото 10/15% противоречие | Единната оферта вдига placed-order rate на E1, защото маха объркването | Нови абонати (Welcome flow enrollment, ~185/седмица) | Текст на офертата в E1/E5/E6/E8/E9 (не A/B, before/after след собственическо решение) | Placed order rate на E1 (база ≈14,2%, delta 4,2пп за 30% относителен ръст) | Unsub на flow <0,5% | ~1 100 на всяка страна → ~6 седмици при текущия enrollment | 30% относителен ръст е реалистично засечим за ~6-8 седмици | Сравни period-over-period след промяната; не е рандомизиран A/B, а before/after заради еднократната промяна на офертата |
| 5 | Browse Abandon E3: 10% код vs без код | Кодът вдига conv rate на non-buyers | Non-buyers сегмент в Browse Abandon | Наличие на discount код | Conv rate на E3 (база ≈1,5%, delta ~0,46пп за 30% ръст) | Unsub на flow <0,5% | ~11 300/арм → при ~590/месец обем това е ~19 месеца | НЕ практично за 30% ръст; само голям ефект (2х+) става видим за <1 година | Директен мониторинг 6-12 месеца, не решавай на база <3 месеца данни |
| 6 | Cart Abandon E1: urgency vs прост reminder subject | Urgency subject вдига conv rate по-рано във фунията | Всички влезли в Cart Abandon Middleware | Subject line тон | Conv rate на E1 (база ≈9,7%, delta ~2,9пп за 30% ръст) | Unsub <0,3% (текущо 0% на 90д) | ~1 660/арм → при ~148/месец delivered на E1 това е ~22 месеца | Ниска мощност; готов само за много голям ефект (50%+) в рамките на ~1 година | Мониторирай тримесечно; не обявявай победител преди n≈1 600/арм |
| 7 | Winback E2: 10% код vs "най-продавани без код" | Код вдига recovery rate повече от голото напомняне | Winback flow, всички влезли | Наличие/тип на офертата | Conv rate на E2 (база ≈1,24%, delta ~0,37пп за 30% ръст) | Unsub <0,5% | ~9 000/арм → при ~637/месец delivered това е ~14 месеца | Практично само за 2х+ ефект в рамките на ~6-7 месеца | Изисква между 6 и 14 месеца според търсения ефект; не бързай с извод |
| 8 | Sender/from-name: "Д-р Симеон Маджаров" vs "VetFamily" | Личното име вдига click rate спрямо бранд-името | Кампанийна аудитория | From name | Click rate (база ≈2%) | Unsub <0,4% | ~3 100/арм (същата формула като тест 1) | ~50% относителен ръст в 1-2 изпращания | Печели по click rate; провери unsub разлика паралелно |
| 9 | Replenishment E1: без код vs малък код при второ напомняне | Код на второто напомняне вдига repeat rate без да убива марж на E1 | Replenishment flow (след като е поправен по ProductID, виж §9) | Наличие на код в E2 | Repeat purchase rate в прозореца | Exit при нова поръчка (вече правило) | Неизвестна извадка, докато flow-ът не тръгне реално (текущо 0 recipients за Артро) | Не може да се изчисли преди реален обем | Изчакай 2-3 месеца реален трафик след поправката, после приложи формулата от тест 7 |
| 10 | Каденция кампании: 2/седмица vs 3/седмица | Третото писмо не пробива unsub/spam праговете и добавя приход | Цялата campaign аудитория (Engaged минус exclusions) | Брой изпращания/седмица | Приход/получател седмично, unsub на изпращане | Unsub <0,4% на изпращане, spam <0,05%, приход/получател не пада >25% | Не е A/B, а 4-седмичен gate (вече дефиниран в EMAIL-STRATEGY-BG.md §8) |
Директно измеримо на текущия обем | Ако всички прагове минат за 4 седмици, продължава на 3/седмица през ноември; иначе остава на 2 |
6. Какво НЕ можем да заключим надеждно при нашия обем
- Малки разлики (под ~30% относителен ефект) в conversion rate на flow съобщения с под ~1 000 delivered/месец (Browse E3, Cart E1, Winback E2) не се засичат в разумен срок (виж тестове 5-7 по-горе). Не обявявай "победител" на база 1-2 месеца при тези потоци.
- Open rate разлики между варианти не са надеждни при значителен дял Apple MPP получатели (непроверен точен %); не използвай open rate като decision метрика за нито един тест по-горе.
- Атрибутираният Klaviyo приход (126 556 €/365д) не може да се чете като доказан инкрементален принос без holdout (виж §7). Не представяй тази сума пред собственика като "печалба от имейл", а като "приход, докоснат от имейл".
- При обем от само 4 кампании/90 дни не може да се направи сезонен или ден-от-седмицата анализ с достатъчна мощност; трябва поне 8-12 сравними изпращания преди такъв извод.
- Welcome flow вариантите за котки (
Uis229котка съобщения, ~200-400 delivered/365д, 0 conversions в няколко от тях) са твърде малък обем за какъвто и да е статистически тест; третирай ги като качествен преглед, не A/B кандидат.
7. Holdout / инкременталност
Klaviyo native A/B на кампании тества до 4 варианта върху процент от аудиторията с автоматичен winner след определен прозорец: ползвай го за тестове 1, 2, 8 по-горе директно в интерфейса, без нужда от ръчен split.
7.1 Welcome flow, 10% holdout (0 писма)
- Enrollment ≈185/седмица (9 623/365д, [V]). 10% holdout ≈18-19/седмица, ≈80/месец.
- За разумно тесен интервал на conversion rate (±2пп при базова ставка ≈6% за целия flow, всички съобщения обединени,
Ra8Kp7/flow-wide) е нужно n≈540 в holdout групата: n=(1,96)² × p × (1-p) / e². - При ≈80/месец holdout обем това е ≈7 месеца минимум, преди да имаш достатъчно тесен интервал за твърдо решение "flow-ът реално добавя X% поръчки, които не биха станали органично".
- По-рано от 7 месеца: гледай посоката (holdout явно по-нисък conv rate), не точното число.
7.2 Replenishment flow, 10% holdout
- Текущият flow е счупен (0 recipients за Артро, виж
OUR-ACCOUNT-AUDIT.md§4.1). Holdout не може да стартира преди поправката по ProductID (§9 по-долу). - След поправка, очакван обем е неизвестен (не е проверен в тази задача). Ако приемем грубо ≈300/месец eligible (Артро 1 979 + Омега 12 860 купувачи, разделени на среден цикъл 50-77 дни), 10% holdout ≈30/месец. За същия n≈540 това е ≈18 месеца, непрактично дълго.
- Препоръка: или holdout 20% вместо 10% (намалява до ≈9 месеца), или замени формалния holdout с period-over-period сравнение (преди/след поправка) за първите 6 месеца, докато обемът не позволи по-строг дизайн.
8. Какво не обещаваме
Никой процент в този документ не е гарантиран uplift. Всяко "30% относителен ръст" по-горе е примерен delta за изчисляване на извадка, не прогноза за резултат. Реалният резултат от всеки тест е неизвестен, докато не се изпълни.
9. Хигиена на данните
- UTM: препоръчана структура
utm_source=klaviyo,utm_medium=email,utm_campaign=<кратко_име_дата>,utm_content=<вариант/съобщение>. Текущо състояние: [V] няма намерена изрична UTM конфигурация в Reporting API заявките на този одит; Checkout/Started Checkout events носят UTM в$extra, но не е потвърдено дали се използват за отчитане извън Klaviyo. Препоръка: отделна фокусирана UTM сесия преди да се разчита на кросплатформено сравнение (Klaviyo vs GA4/Meta). - Сегменти по ProductID, не по име: правилото вече е записано в
EMAIL-STRATEGY-BG.md§9 и е коренната причина за счупения Артро Replenishment flow (филтърът търси старо име на продукта). Всеки нов сегмент/flow филтър за тестовете по-горе (особено 4, 5, 7, 9) трябва да ползва ProductID (Артро 8357886263644, Омега 8756703494492, вижте потвърдените ID-та вanalysis/METHOD-REFERENCE.md§7), не текстово име на продукта.