تعیین حجم نمونه کافی و مدت زمان مناسب برای اجرای تست‌های A/B، یکی از چالش‌های اصلی در بازاریابی است که بسیاری از کسب‌وکارها با آن مواجه می‌شوند. تشخیص دقیق این مقادیر به دلیل پیچیدگی‌های آماری و نبود اطلاعات کاربردی در منابع آنلاین، اغلب دشوار و گیج‌کننده است. این ابهام می‌تواند اثربخشی تست‌ها را تحت تأثیر قرار دهد و در نهایت منجر به کاهش بهره‌وری کمپین‌های بازاریابی شود.
در این مطلب، با ارائه یک راهنمای جامع و عملی در مورد تعیین حجم نمونه و بازه زمانی در تست‌های A/B به شما کمک می‌کنیم تا حجم نمونه و زمان‌بندی مناسب را به درستی انتخاب کرده و تست‌های A/B خود را با اطمینان بیشتری اجرا کنید.
فرمول تعیین حجم نمونه در تست A/B
فرمول تعیین حجم نمونه در تست A/B ممکن است در نگاه اول پیچیده به نظر برسد؛ اما فهم دقیق آن می‌تواند به شما کمک کند تا با اطمینان بیشتری تست‌های خود را طراحی و اجرا کنید. این فرمول به شما امکان می‌دهد تا تعداد دقیقی از نمونه‌های مورد نیاز برای هر گروه را مشخص کنید تا نتایج به دست آمده از نظر آماری معنادار و قابل اعتماد باشند.
فرمول شامل عناصر کلیدی زیر است:
- n: تعداد افراد مورد نیاز در هر گروه (گروه A و گروه B) برای اینکه نتایج تست قابل اعتماد باشد.
- p1: نرخ تبدیل پایه، یعنی درصد افرادی که در گروه اصلی (گروه A) به هدف مورد نظر می‌رسند. این عدد به عنوان مرجع برای مقایسه با گروه جدید (گروه B) استفاده می‌شود.
- p2: نرخ تبدیل مورد انتظار در نسخه جدید. این نشان می‌دهد که چه درصدی از افراد در گروه B به هدف مورد نظر می‌رسند. تفاوت بین p1 و p2 چیزی است که می‌خواهید اندازه بگیرید.
- Zα/2: عددی که نشان می‌دهد چقدر به نتایج خود اطمینان دارید. اگر می‌خواهید 95% مطمئن باشید که تفاوت بین دو نسخه واقعی است، این عدد 1.96 خواهد بود.
- Zβ: عددی که نشان می‌دهد چقدر آزمون شما قدرت دارد تا تفاوت واقعی بین دو گروه را تشخیص دهد. اگر قدرت آزمون 80% باشد، این عدد 0.84 است.
خوشبختانه ابزارهایی موجود هستند که با وارد کردن چند عدد ساده، می‌توانند به راحتی نتایج مورد نیاز را محاسبه کنند. در ادامه، این ابزارها و نحوه استفاده از آن‌ها مورد بررسی قرار خواهد گرفت.
اندازه نمونه و بازه زمانی در تست A/B
به‌طور نظری، برای انجام یک تست A/B کامل و تعیین برنده بین گروه A و گروه B، باید صبر کنید تا نتایج کافی جمع‌آوری شود و بتوانید تفاوت معنادار آماری بین این دو گروه را مشاهده کنید. بسیاری از تست‌های A/B نشان داده‌اند که این روش کارآمد است. بسته به نوع شرکت شما، اندازه نمونه و نحوه اجرای تست A/B، ممکن است دستیابی به نتایج معنادار آماری چند ساعت، چند روز یا حتی چند هفته طول بکشد و شما باید تا دستیابی به این نتایج صبر کنید.
برای بسیاری از تست‌های A/B، انتظار مشکلی ایجاد نمی‌کند. برای مثال، اگر در حال تست تیتر یک صفحه فرود هستید، صبر کردن یک ماه برای نتایج ایرادی ندارد. همین‌طور اگر هدف شما بهینه‌سازی دکمه‌های فراخوان (CTA) در وبلاگ برای ایجاد لیدهای بلندمدت باشد. اما برخی جنبه‌های بازاریابی نیاز به زمان‌بندی کوتاه‌تری برای تست‌های A/B دارند. به عنوان مثال، در مورد ایمیل، انتظار برای پایان یک تست A/B ممکن است به دلایل عملی مختلف، که در ادامه به آن‌ها اشاره شده، مشکل‌ساز شود.
1. هر ایمیلی که ارسال می‌کنید، تعداد مخاطب محدودی دارد
برخلاف یک صفحه فرود که می‌توانید به مرور زمان مخاطبان جدیدی به آن اضافه کنید، در تست A/B ایمیل این امکان وجود ندارد و بهتر است از هر ارسال ایمیل به بهترین شکل ممکن بهره ببرید. این معمولاً به این معناست که تست A/B را به کوچک‌ترین بخش از لیست خود ارسال کنید که برای به دست آوردن نتایج دقیق آماری لازم است، سپس گروه برنده را انتخاب کرده و آن را به بقیه لیست ارسال نمایید.
2. هر هفته، حداقل چندین ایمیل ارسال می‌کنید
از آنجا که در یک برنامه بازاریابی ایمیلی، معمولاً چندین بار در هفته ایمیل ارسال می‌کنید، اگر جمع‌آوری نتایج بیش از حد طول بکشد، ممکن است فرصت ارسال ایمیل بعدی را از دست بدهید که این می‌تواند بدتر از ارسال یک ایمیل غیرمعتبر از نظر آماری به بخشی از مخاطبان باشد.
3. ارسال ایمیل‌ها باید در زمان مناسب انجام شود
ایمیل‌های بازاریابی شما به گونه‌ای طراحی شده‌اند که در زمان مشخصی از روز ارسال شوند. این ایمیل‌ها ممکن است با زمان‌بندی یک کمپین جدید هماهنگ باشند یا در زمانی به دست گیرندگان برسند که بیشترین تمایل را به دریافت آن دارند. بنابراین، اگر منتظر بمانید تا ایمیل شما از نظر آماری کاملاً معنادار شود، ممکن است زمان مناسب را از دست بدهید و در نتیجه محتوای ایمیل تأثیر خود را از دست خواهد داد که این می‌تواند هدف اصلی ارسال ایمیل‌ها را زیر سوال ببرد.
به همین دلیل، برنامه‌های تست A/B ایمیل معمولاً دارای تنظیمات “زمان‌بندی” هستند؛ در پایان بازه زمانی مشخص، اگر هیچ نتیجه‌ای از نظر آماری معنادار نشد، یکی از گروه‌ها (که از پیش تعیین کرده‌اید) به باقی لیست ارسال می‌شود. به این ترتیب، می‌توانید همچنان تست‌های A/B را در ایمیل‌ها اجرا کنید و در عین حال با برنامه زمان‌بندی بازاریابی ایمیلی خود هماهنگ بمانید و اطمینان حاصل کنید که مخاطبان همیشه محتوای به‌موقع دریافت می‌کنند.
بنابراین، برای موفقیت در تست‌های A/B ایمیل و بهینه‌سازی ارسال‌ها برای رسیدن به بهترین نتایج، باید به دو عامل اندازه نمونه و زمان‌بندی توجه کنید.
در ادامه، نحوه محاسبه اندازه نمونه و زمان‌بندی با استفاده از داده‌ها بررسی خواهیم کرد.
چگونه حجم نمونه مناسب برای تست A/B را تعیین کنیم؟
این راهنما با استفاده از مثال ایمیل، نشان می‌دهد چگونه می‌توان اندازه نمونه و زمان‌بندی مناسب برای یک تست A/B را تعیین کرد. البته، این مراحل را می‌توان برای هر نوع تست A/B به کار برد، نه فقط ایمیل!
همان‌طور که قبلاً اشاره شد، تست A/B فقط به یک گروه محدود از مخاطبان ارسال می‌شود، بنابراین باید بهترین روش برای به حداکثر رساندن نتایج این تست را پیدا کرد. برای این منظور، لازم است کوچک‌ترین بخش از لیست مخاطبان مشخص شود که برای دستیابی به نتایج معتبر آماری نیاز به تست دارد.
نحوه محاسبه نیز به شرح زیر است:
1. ابتدا بررسی کنید که آیا لیست مخاطبان شما به اندازه کافی بزرگ است؟
برای انجام یک تست A/B موفق، لیست باید حداقل 1000 مخاطب داشته باشد. اگر لیست شما کمتر از 1000 مخاطب دارد، باید بخش بزرگ‌تری از لیست را تست کنید تا به نتایج معتبر آماری برسید. به عنوان مثال، در یک لیست کوچک با 500 مخاطب، ممکن است نیاز باشد 85% یا حتی 95% از آن‌ها تست شوند تا نتایج معتبر آماری به دست آید.
پس از اتمام تست، تعداد باقیمانده مخاطبینی که تست نشده‌اند، آن‌قدر کم خواهد بود که بهتر است نیمی از لیست را با یک نسخه ایمیل و نیم دیگر را با نسخه دیگری ارسال کرده و تفاوت را اندازه‌گیری کنید. نتایج ممکن است از نظر آماری معنادار نباشند، اما این فرآیند به یادگیری و رشد لیست ایمیل شما در طول زمان کمک می‌کند.
نکته: اگر از HubSpot استفاده می‌کنید، هزار مخاطب به‌عنوان معیار برای انجام تست‌های A/B در ایمیل‌ها تعیین شده است. اگر لیست انتخابی کمتر از 1000 مخاطب داشته باشد، گروه A به‌طور خودکار به نیمی از لیست و گروه B به نیم دیگر ارسال می‌شود.
2. از یک ماشین حساب حجم نمونه استفاده کنید
ابزار A/B Testing Kit HubSpot دارای یک ماشین حساب رایگان و بسیار کاربردی برای محاسبه حجم نمونه در تست‌های A/B است. علاوه بر این، دو ماشین حساب آنلاین دیگر نیز برای تست A/B وجود دارند که به خوبی عمل می‌کنند: یکی از آن‌ها ماشین حساب A/B از Optimizely و دیگری از Evan Miller است.
3.نرخ تبدیل پایه، حداقل اثر قابل تشخیص و اهمیت آماری را در ماشین حساب وارد کنید
برای محاسبه اندازه نمونه در یک تست A/B، باید نرخ تبدیل پایه (BCR)، حداقل اثر قابل تشخیص (MDE) و اهمیت آماری (Statistical significance) را در ماشین حساب وارد کنید. این اصطلاحات ممکن است پیچیده به نظر برسند، اما می‌توان آن‌ها را به سادگی توضیح داد:
- اهمیت آماری (Statistical significance)
این مورد نشان می‌دهد که چقدر می‌توان به نتایج نمونه اعتماد کرد و آن‌ها را در محدوده اطمینان مشخص قرار داد. هرچه این درصد پایین‌تر باشد، اطمینان کمتری نسبت به نتایج وجود دارد. با افزایش درصد، نیاز به نمونه بزرگ‌تری خواهید داشت.
- نرخ تبدیل پایه (BCR)
BCR نشان‌دهنده نرخ تبدیل نسخه کنترل است. به عنوان مثال، اگر به 10,000 مخاطب ایمیل ارسال شود و 6,000 نفر آن را باز کنند، نرخ تبدیل (BCR) باز شدن ایمیل 60% خواهد بود.
- حداقل اثر قابل تشخیص (MDE)
MDE حداقل تغییری است که در نرخ تبدیل انتظار می‌رود تا تفاوت بین گروه A (نسخه اصلی یا کنترل) و گروه B (نسخه جدید) شناسایی شود. به عنوان مثال، اگر BCR 60% باشد، MDE می‌تواند 5% تعیین شود، یعنی تست باید بررسی کند که آیا نسخه جدید حداقل 5% با نسخه کنترل تفاوت دارد یا خیر.
اگر نرخ تبدیل گروه جدید 65% یا بالاتر و یا 55% یا پایین‌تر باشد، می‌توان اطمینان داشت که این گروه جدید تأثیر واقعی دارد. اما اگر تفاوت کمتر از 5% باشد (مثلاً 58% یا 62%)، ممکن است تغییر به دلیل شانس تصادفی باشد و از نظر آماری معنادار نباشد.
MDE تأثیر مستقیمی بر اندازه نمونه و زمان لازم برای تست دارد. این نرخ را می‌توان مانند آب در یک لیوان تصور کرد؛ هرچه حجم آب بیشتر باشد، زمان و تلاش کمتری برای رسیدن به نتیجه نیاز است. MDE بالاتر اطمینان بیشتری از نتایج ارائه می‌دهد، اما ممکن است دقت نتایج را کاهش دهد. برای شروع تست‌های A/B، توصیه می‌شود از یک بازه کوچکتر (مثلاً حدود 5%) استفاده کنید.
نکته برای کاربران HubSpot: ابزار تست A/B ایمیل در HubSpot به‌طور خودکار از سطح اطمینان 85% برای تعیین برنده استفاده می‌کند.
- مثال تست A/B ایمیل
برای انجام یک تست A/B ایمیل، ابتدا باید اندازه هر نمونه در تست تعیین شود. در این مرحله، اطلاعات مربوطه در ماشین حساب نمونه‌گیری تست A/B Optimizely وارد می‌شود. طبق نتیجه ماشین حساب، حجم نمونه باید 2700 مخاطب برای هر نسخه باشد.
این حجم نمونه مورد نیاز برای یکی از گروه‌ها است. بنابراین، برای ارسال ایمیل، اگر یک گروه کنترل و یک گروه تستی وجود داشته باشد، این عدد باید دو برابر شود. در صورت وجود یک نسخه کنترل و دو نسخه تستی، این عدد باید سه برابر شود.
4. بسته به برنامه ایمیل خود، ممکن است نیاز به محاسبه درصد حجم نمونه نسبت به کل لیست داشته باشید!
بسته به برنامه ایمیل، ممکن است نیاز باشد درصد حجم نمونه نسبت به کل لیست محاسبه شود. برای کاربران HubSpot، این مرحله اهمیت دارد. هنگام انجام یک تست A/B ایمیل، باید درصدی از مخاطبان را که قصد دارید ایمیل را به آن‌ها ارسال کنید، مشخص کنید نه فقط حجم نمونه!
برای این کار، عدد مربوط به نمونه خود را بر تعداد کل مخاطبان در لیست تقسیم کنید. به عنوان مثال، با استفاده از اعداد زیر:
2700 / 10,000 = 27%
این محاسبه نشان می‌دهد که هر نمونه (هم کنترل و هم گروه تستی) باید به 27-28% از مخاطبان ارسال شود که معادل تقریباً 55% از کل لیست است. پس از تعیین برنده، گروه برنده به بقیه لیست ارسال می‌شود. با این محاسبه، اکنون می‌توان زمان ارسال ایمیل‌ها را انتخاب کرد.
چگونه زمان‌بندی مناسب برای تست A/B یک صفحه فرود را انتخاب کنیم؟
اگر می‌خواهید یک صفحه فرود را تست نمایید، بازه زمانی که انتخاب می‌کنید بستگی به اهداف کسب‌وکارتان خواهد داشت.
فرض کنید می‌خواهید یک صفحه فرود جدید را تا سه‌ماهه اول سال 2025 طراحی کنید و اکنون در سه‌ماهه چهارم سال 2024 هستیم. برای داشتن بهترین نسخه آماده، باید تست A/B خود را تا دسامبر به پایان برسانید تا بتوانید از نتایج آن برای ساخت صفحه برنده استفاده کنید.
محاسبه زمان مورد نیاز به شرح زیر است:
- ترافیک صفحه فرود: 7,000 بازدید در هفته
- نرخ تبدیل پایه (BCR): 10%
- حداقل اثر قابل تشخیص (MDE): 5%
- اهمیت آماری: 80%
وقتی که BCR، MDE و اهمیت آماری را در ماشین حساب نمونه‌گیری تست A/B Optimizely وارد می‌کنیم، نتیجه 53,000 بازدیدکننده به دست می‌آید. این بدان معناست که اگر با دو گروه تست می‌کنیم، 53,000 نفر باید از هر نسخه از صفحه فرود مورد نظر بازدید کنند.
بنابراین بازه زمانی تست بدین صورت خواهد بود:
53,000*2/7,000 = 15.14 هفته
این نشان می‌دهد که باید این تست را در دو هفته اول سپتامبر شروع شود.
چگونه زمان‌بندی مناسب برای تست A/B یک ایمیل را انتخاب کنیم؟
برای تعیین زمان‌بندی مناسب در تست A/B ایمیل، باید مشخص شود که این تست تا چه مدت قبل از ارسال گروه برنده به بقیه لیست اجرا شود. اگرچه زمان‌بندی به میزان کمتری به آمار وابسته است، استفاده از داده‌های گذشته می‌تواند به تصمیم‌گیری‌های بهتر کمک کند.
برای انجام این کار:
اگر محدودیت زمانی برای ارسال گروه برنده به بقیه لیست وجود ندارد، به تحلیل‌های قبلی مراجعه کنید. بررسی کنید که چه زمانی نرخ باز شدن یا کلیک‌های ایمیل (یا هر معیاری که به‌عنوان شاخص موفقیت در نظر گرفته شده است) شروع به کاهش می‌کند. برای این منظور، ارسال‌های قبلی ایمیل را بررسی کنید.
به‌عنوان مثال، اگر متوجه شوید که 70% از کلیک‌ها در 24 ساعت اول انجام می‌شود و سپس هر روز 5% کاهش می‌یابد، منطقی است که پنجره زمانی تست A/B را به 24 ساعت محدود کنید؛ زیرا جمع‌آوری داده‌های اضافی ممکن است ارزش به تأخیر انداختن نتایج را نداشته باشد.
پس از 24 ساعت، ابزار بازاریابی ایمیلی باید تعیین کند که آیا برنده‌ای از نظر آماری معنادار هست یا خیر. سپس، بر اساس این اطلاعات، می‌توان تصمیم‌گیری کرد.
در صورتی که حجم نمونه بزرگ باشد و برنده‌ای از نظر آماری معنادار مشخص شود، بسیاری از ابزارهای بازاریابی ایمیلی به‌طور خودکار و فوری گروه برنده را ارسال می‌کنند. اگر حجم نمونه کافی باشد اما هیچ برنده‌ای از نظر آماری معنادار نباشد، این ابزارها ممکن است به شما امکان دهند که به‌طور خودکار نسخه‌ای را انتخاب و ارسال کنید.
در صورتی که حجم نمونه کوچکتر باشد یا تست A/B به‌صورت 50/50 انجام شود، زمان ارسال ایمیل بعدی بر اساس نتایج ایمیل اولیه تنظیم خواهد شد.
اگر محدودیت زمانی برای ارسال گروه برنده وجود دارد، باید بررسی شود که تا چه زمانی می‌توان ایمیل برنده را بدون از دست دادن زمان مناسب ارسال کرد و در عین حال از تأثیرگذاری بر سایر ارسال‌های ایمیل جلوگیری کرد.
به عنوان مثال، اگر ایمیل‌ها در ساعت 3 بعد از ظهر به وقت شرقی (EST) برای یک فروش سریع ارسال شده‌اند که در نیمه‌شب به پایان می‌رسد، تعیین برنده تست A/B در ساعت 11 شب مناسب نیست. در این حالت، بهتر است ایمیل برنده نزدیک به ساعت 6 یا 7 بعد از ظهر ارسال شود تا مخاطبانی که در تست شرکت نکرده‌اند، فرصت کافی برای واکنش به ایمیل داشته باشند.
سخن پایانی
این اطلاعات تمامی موارد ضروری برای تعیین حجم نمونه و بازه زمانی در تست‌های A/B را به طور کامل پوشش می‌دهد. با استفاده از این داده‌ها و انجام محاسبات دقیق، می‌توان به درک عمیق‌تری از نحوه اجرای بهینه تست‌های A/B دست یافت.
این تست‌ها، زمانی که به درستی طراحی و اجرا شوند، به شما کمک می‌کنند تا نتایج آماری معتبری به دست آورید که نه تنها به تصمیم‌گیری‌های دقیق‌تر و آگاهانه‌تر منجر می‌شوند، بلکه مسیر شما را برای دستیابی به اهداف بازاریابی و کسب‌وکار هموارتر می‌سازند.
پیشنهاد: اگر می‌خواهید بدانید چگونه می‌توان با استفاده از تست A/B در بازاریابی محتوا نرخ تبدیل را افزایش داد، مقاله‌‌ی جامع ما در این زمینه را مطالعه کنید. این مقاله به شما نشان می‌دهد که چگونه می‌توانید از این ابزار قدرتمند برای بهینه‌سازی کمپین‌های بازاریابی محتوای خود بهره ببرید. برای مطالعه، روی لینک زیر کلیک کنید.
آیا با کمک تست A/B در بازاریابی محتوا، می‌توان نرخ تبدیل را افزایش داد؟