A b testing

The Complete Guide to A/B Testing

What is A/B Testing?

A/B testing (sometimes called split testing) is comparing two versions of a web page to see which one performs better. You compare two web pages by showing the two variants (let’s call them A and B) to similar visitors at the same time. The one that gives a better conversion rate, wins!

All websites on the web have a goal — a reason for them to exist

  • eCommerce websites want visitors buying products
  • SaaS web apps want visitors signing up for a trial and converting to paid visitors
  • News and media websites want readers to click on ads or sign up for paid subscriptions

Every business website wants visitors converting from just visitors to something else. The rate at which a website is able to do this is its «conversion rate». Measuring the performance of a variation (A or B) means measuring the rate at which it converts visitors to goal achievers.

Why Should You A/B Test?

A/B testing allows you to make more out of your existing traffic. While the cost of acquiring paid traffic can be huge, the cost of increasing your conversions is minimal. To compare, a Small Business Plan of Visual Website Optimizer starts at $49. That’s the cost of 5 to 10 Google Adwords clicks. The Return On Investment of A/B testing can be massive, as even small changes on a landing page or website can result in significant increases in leads generated, sales and revenue.

Or, contact us through email info@vwo.com

What Can You Test?

Almost anything on your website that affects visitor behavior can be A/B tested.

  1. Headlines
  2. Sub headlines
  3. Paragraph Text
  4. Testimonials
  5. Call to Action text
  6. Call to Action Button
  7. Links
  8. Images
  9. Content near the fold
  10. Social proof
  11. Media mentions
  12. Awards and badges

Advanced tests can include pricing structures, sales promotions, free trial lengths, navigation and UX experiences, free or paid delivery, and more.

A/B Testing and SEO

Google cleared the air on the SEO implications of A/B testing in their blog post titled » Website Testing And Google Search «. The important bits from that post are:

Cloaking — showing one set of content to humans, and a different set to Googlebot — is against our Webmaster Guidelines, whether you’re running a test or not. Make sure that you’re not deciding whether to serve the test, or which content variant to serve, based on user-agent. An example of this would be always serving the original content when you see the user-agent «Googlebot.» Remember that infringing our Guidelines can get your site demoted or removed from Google search results — probably not the desired outcome of your test.

Use 302s, not 301s.

If you’re running an A/B test that redirects users from the original URL to a variation URL, use a 302 (temporary) redirect, not a 301 (permanent) redirect. This tells search engines that this redirect is temporary — it will only be in place as long as you’re running the experiment — and that they should keep the original URL in their index rather than replacing it with the target of the redirect (the test page). JavaScript-based redirects are also fine.

Only run the experiment as long as necessary

The amount of time required for a reliable test will vary depending on factors like your conversion rates, and how much traffic your website gets; a good testing tool should tell you when you’ve gathered enough data to draw a reliable conclusion. Once you’ve concluded the test, you should update your site with the desired content variation(s) and remove all elements of the test as soon as possible, such as alternate URLs or testing scripts and markup.

A/B Testing Process

The correct way to run an A/B testing experiment is to follow a scientific process. It includes the following steps:

  1. Study your Website Data: Use a website analytics tool such as Google Analytics, and find the problem areas in your conversion funnel. For example, you can identify the pages with the highest bounce rate. Let’s say, your homepage has an unusually high bounce rate.
  2. Observe User Behavior: Utilize visitor behavior analysis tools such as Heatmaps, Visitor Recordings, Form Analysis and On-page Surveys, and find what is stopping the visitors from converting. For example, “The CTA button is not prominent on the home page.»
  3. Construct a Hypothesis: Per the insights from visitor behavior analysis tools, build a hypothesis aimed at increasing conversions. For example, “Increasing the size of the CTA button will make it more prominent and will increase conversions.”
  4. Test your Hypothesis: Create a variation per your hypothesis, and A/B test it against the original page. For example, “A/B test your original home page against a version that has a larger CTA button.” Calculate the test duration with respect to the number of your monthly visitors, current conversion rate, and the expected change in the conversion rate. (Use our Bayesian Calculator here.)
  5. Analyze Test Data and Draw Conclusions: Analyze the A/B test results, and see which variation delivered the highest conversions. If there is a clear winner among the variations, go ahead with its implementation. If the test remains inconclusive, go back to step number three and rework your hypothesis.
  6. Report results to all concerned: Let others in Marketing, IT, and UI/UX know of the test results and the insights generated.

Your First A/B Test

Starting conversion optimization with Visual Website Optimizer is incredibly easy. Essentially, it is just four simple steps.

1. Include the Visual Website Optimizer code snippet in your website

Including the code snippet means we are now ready to run the tests you create on your website. For further ease, we have plugins for WordPress , Drupal and Joomla that make the process hassle free.

2. Create variations using the WYSIWYG Visual Editor

Load your website in the Visual Editor and create any changes using the simple point-and-click interface. Advanced users can even make CSS and JS code changes.

3. Choose your goals

All A/B tests have goals whose conversion rate you want to increase. These goals can be straight forward (clicks on links, visits page) or could use advanced custom conversion code.

4. Start and track your test

And that’s it, your test is ready to go live. Reporting is real-time so you can start seeing reports as soon as visitors arrive on a live test.

A/B Testing Process

Susty Party is an ecommerce online store of eco-friendly, compostable, sustainable, disposable party tableware

A/B tested their home-page and followed ecommerce best practices to get more clicks on their checkout call to action.

Click here to read more

Majestic Wines (MW) is a known name in UK’s very-competitive retail wine market.

A/B tested their category pages with different designs to generate more online enquiries.

Click here to read more

Server Density is a well-known, hosted server and website monitoring service.

A/B tested their pricing page with a new packaged pricing structure to get more Free Trial signups and Upgrades.

Click here to read more

Download this Guide

Get the Complete Guide to A/B testing in your inbox

A/B Testing Tool

What is A/B Testing?

If there is something that has grabbed the entire imagination of the various business organizations at large, it can be none other than this A/B testing. It is the practice of making comparison between two different variations (Variation A and Variation B) of a web page and then making evaluation based on the conversion rates that have arrived on both of these web page versions. A/B testing is also sometimes known as split testing as the given web page is here split (broken) into two different versions for the purpose of comparison and evaluation based on the conversion rates.In A/B testing, two different web page versions are tested over a period of time and depending upon the count of conversion rates, winner web page is decided. This process has gained significant acceptance in the entire online business community as it has the potential to influence the conversion rates of your business organization to a great extent. Moreover, it help business organizations in taking calculated business risks and thus avoid them heavy losses in case the testing results backfire. By directing the amount of traffic on your two different versions namely, control page and the variation page, business organizations are thus prepared in a better way to handle any unexpected results during the entire A/B testing process. Further, in order to improve your understanding about this topic, here are some of the common terminologies related to the A/B testing process.

  • Control page- It refers to the original web page that is without any changes.
  • Variation page- It refers to the web page on which user has made the desired changes for comparison with the original page. This variation page is also known as treatment page or the controller page.
  • Winner page- It is that web page which wins the A/B testing results based on the maximum conversions that is achieved by it over the scheduled test duration.
  • Hypothesis- It refers to the assumptions that are considered while implementing A/B testing process. Assumptions may be like the test will improve product sales, it will make more number of people to sign in on your page or any other such claims.
  • Testing elements- They are those site elements that are chosen for implementing A/B testing process. It can be headlines, banner ads, images, call- to- action (CTA) buttons, web forms or any other such site elements.
  • KPIs- It is known as the key performance indices that are important for the growth and progress of a business organization. These can be conversion rates, site traffic, product sales, customer engagement or any other such parameters.
  • It helps in improving the usability of your site and its elements- By performing A/B testing on various elements of your website, you can check the usability of your website for the accomplishment of your long term goals like conversion rates, site traffic, product sales and other such factors. Further, it will help you understand whether your site elements like images, call- to- action buttons, banner ads, headlines and other such components are actually playing their part well in the conversion rates or not.
  • It provides a vision to improve your user engagement, site traffic and conversion rates- Once, you are aware of the fact that what is working for your website and what is not, you can easily take the charge ahead for getting your customers involved. In order to improve your customer engagement, you need to perform A/B testing on the various site elements so as to get back your customer’s interest and attention for improving your conversion rates. If you can entice your customer with your website design, navigation and usability, you can easily improve the site traffic for your business organization.
  • It provides opportunity to business organizations to take calculated risks- Due to the facility of diverting the site traffic into desired ratio, it is now possible for the business organizations to undertake proposed web changes on a website in an efficient and conversion friendly manner without hurting the entire growth opportunities. This is a wonderful aspect of A/B testing as it helps you to put your business interests in the best possible way by taking calculated risks in the case the results may backfire.

Besides these factors, there are several other reasons that have made A/B testing really important for business organization in this cut throat competitive online business environment. It has made such a tremendous impact in the overall business scenario of various organizations that it is now heavily relied upon by numerous business organizations to tweak even minor changes in their website.

  • Call- to- action buttons and call- to- action statements
  • Landing page
  • Web forms like sign up page, checkout page and newsletter subscription page.
  • Images and videos
  • Headlines and sub headings
  • Position, placement and content of the paragraph text
  • Directional links
  • Position of the content below or above the fold
  • Social Proof and user generated content like ratings, testimonials, customer reviews and such other data.
  • Awards, badges and security seals
  • Banner ads
  • Contact information
  • Offers, pricing information and promotional schemes
  • Font size, style and CSS elements

These are some of the elements that are actively used by numerous business organizations of the world for A/B testing purposes so as to get huge improvement in their conversion rates and product sales. Apart from these elements, some of the other elements that can be tested in the process of A/B testing are mentioned in this infographic.

With time and constant evolution, the scope and use of A/B testing is continuously enhancing and is sure to touch new areas in the coming years. So, just test, test and test in order to keep improving and surprise your targeted customers.

Avoid the use of cloaking- Don’t fall into the trap of showing a different web page to your targeted customers and an entirely different web version to the web spiders as this results in the infringement of the Google Webmaster Guidelines. Sometimes, it happens with the numerous business organizations that are using A/B testing as they fail to use a temporary 302 redirect for their A/B testing page which cause Internet robots to index your A/B testing URL also that ultimately causes a mismatch between what is being shown to your targeted users and what is being shown to the search engine bots. So, avoid the use of cloaking so as to prevent your website from getting penalized by various search engines that could drastically affect your online search rankings and conversion rates.

Make use of relational canonical tags as and when necessary- In order to make search engine aware about your testing web pages, you need to use relational canonical tags so that these testing pages are not indexed. This will help in the effective utilization of the duplicate content on the web that has the potential to affect your ultimate rankings and URL indexing.

Don’t run your A/B tests for too long- Running your A/B tests for more than 2-3 months continuously can direct Google to ask the site owners to delete all other web pages that are related to your test variation. If this happens, it can be crucial to your website rankings and future business prospects so run your A/B tests for a legitimate amount of time only so that you can take the decision on your own rather than forwarding the decision making power to the search engines like Google.

Thus, by practising the above steps, business organizations can easily overcome the concern of negative effects of A/B testing on their website rankings. This is truly a win- win situation in all respects as you can now improve your website rankings as well as improve your user engagement and conversion rates without any hiccups.

Implement A/B testing process to test your hypothesis- In order to check the legitimacy and effectiveness of the testing hypothesis, you need to perform A/B testing on the required control page and the variation page so as to check if your assumptions are right or wrong. It will help you in deciding the legitimacy of your hypothesis in context of your business organization.

Compare your testing data and reach out to inferences- By testing your control (original) web page and the variation (web page with changes), business organizations can easily infer which is the winner page based on the conversion rates. With this careful analysis and comparison, there is a higher probability that your desired test goals are accomplished by your A/B testing results.

So, by following these simple steps, it would definitely be a cakewalk to implement A/B testing on your website elements. With such a simple user friendly interface, business organizations can implement A/B testing without any external help.

A/B Testing คืออะไร มีประโยชน์อย่างไร หลักการทำเบื้องต้น

A/B Testing หรือบางครั้งเรียกว่า Split Testing คือหัวข้อที่หลายๆคนให้ความสนใจกันมาก A/B Testing สามารถนำมาใช้ในการทำการตลาดออนไลน์ได้มากและไม่ได้ยากอย่างที่หลายๆคนคิด จริงๆแล้วการทำ A/B Testing นั้นสามารถประยุกต์ใช้กับหลากหลายวงการ แต่ในบทความนี้ผมจะขอพูดถึงเฉพาะที่เกี่ยวข้องกับการตลาดออนไลน์เท่านั้นครับ

ในการทำการตลาดออนไลน์บางครั้งเราอาจจะเกิดความสงสัยว่าระหว่างของ 2 สิ่งว่าอันไหนดีกว่ากัน เช่นสมมุติว่าเราต้องการที่จะทำโฆษณาใน Facebook โดยยิงไปยังกลุ่มผู้หญิงอายุ 35-45 ปี เราอาจจะเกิดความสงสัยว่าควรจะใช้ข้อความโฆษณาแบบไหนที่จะตอบโจทย์กลุ่มเป้าหมายกลุ่มนี้ระหว่างการใช้ข้อความที่เน้นเรื่องส่วนลด กับ ข้อความอีกแบบที่เน้นเรื่องของแถม

คำตอบคือเราจะต้องทำการทดสอบเพื่อเปรียบเทียบว่าระหว่างการเขียนโฆษณาโดยใช้ Gimic เป็นส่วนลดกับของแถม แบบไหนให้ผลลัพธ์ที่ดีกว่ากัน ดึงดูดให้กลุ่มเป้าหมายเข้ามามี Engagement (ไลค์, แชร์, คอมเมนต์) กับตัวโฆษณามากกว่ากัน การทดสอบแบบนี้แหละครับที่เราเรียกกันว่า A/B Testing

A/B Testing คืออะไร มีประโยชน์อย่างไร

A/B Testing เป็นการทดสอบเพื่อเปรียบเทียบว่าระหว่างรูปแบบแรก (Original) กับรูปแบบที่สอง (Variation) รูปแบบไหนให้ผลลัพธ์ที่ดีกว่ากัน โดยที่ทั้ง 2 รูปแบบจะมีสิ่งที่แตกต่างกัน แต่ยังถูกควบคุมตัวแปรอื่นๆที่เกี่ยวข้องให้เหมือนกันทั้งหมดเพื่อไม่ให้กระทบกระเทือนกับการทดสอบ

แต่เดิมแล้ว A/B Testing มักจะใช้ในการทดสอบเว็บไซต์เพื่อช่วยในการตัดสินใจของนักออกแบบว่าควรจะเลือกใช้ Element อะไรในเว็บไซต์ ยกตัวอย่างเช่น นักออกแบบอาจจะสงสัยว่าระหว่างปุ่มสั่งซื้อสีแดงกับสีเขียว สีไหนที่ทำให้คนคลิกสั่งซื้อมากกว่ากัน วิธีการหาคำตอบที่แม่นยำที่สุดคือการทำ A/B Testing โดยนักออกแบบทดลองสร้างเว็บไซต์ทั้ง 2 รูปแบบขึ้นมาจริงๆแล้วลองให้ผู้ใช้ (User) เข้ามาใช้งานจริงๆจากนั้นวัดผลว่าระหว่างสีแดงกับสีเขียว สีไหนที่ให้ผลลัพธ์ที่ดีกว่ากัน ถ้านักออกแบบไม่ได้ทำ A/B Testing ก็จะไม่มีผลลัพธ์ที่ช่วยในการตัดสินใจ ทำได้อย่างมากก็แค่เดาเท่านั้น

จะเห็นว่า A/B Testing ช่วยในการออกแบบเว็บไซต์ได้เป็นอย่างมากมาก แต่ A/B Testing มันยังสามารถนำไปประยุกต์ใช้กับเรื่องอื่นๆได้เช่นกันโดยเฉพาะการทำโฆษณาออนไลน์ที่สามารถวัดผลได้อย่างแม่นยำไม่แพ้การออกแบบเว็บไซต์

องค์ประกอบของการทำ A/B Testing

การทำ A/B Testing มีองค์ประกอบอยู่ 3 อย่างที่จะต้องใช้เพื่อคือ

  1. เป้าหมายของการทดสอบ (Goals): เราจะทดสอบเพื่อเป้าหมายอะไร อะไรคือสิ่งที่เราต้องการพัฒนาให้ดีขึ้นหลังจากการทำ A/B Testing แล้วเช่น ทดสอบเพื่อหาสีของปุ่มที่ทำให้คนคลิกสั่งซื้อมากที่สุด
  2. ตัวแปรที่ใช้ในการทดสอบ: พูดง่ายๆมันก็คือรูปแบบต่างๆที่เราจะทำการเปรียบเทียบนั่นเองเช่น ปุ่มสีฟ้า ปุ่มสีเขียว ปุ่มสีแดง โดยที่รูปแบบหลักเราจะเรียกว่าเป็น Original ส่วนรูปแบบอื่นๆเราจะเรียกว่า Variation ในการทดสอบถ้ามีรูปแบบมากกว่า 2 แบบขึ้นไปเราจะเรียกว่า A/B/N Testing Model
  3. กลุ่มตัวอย่างที่ใช้ในการทดสอบ: กลุ่มตัวอย่างก็คือคนที่เข้าเว็บไซต์ โดยการแบ่งให้เท่าๆกันในแต่ละ Variation เช่นแบ่งคนไปยังหน้าเพจที่มีปุ่มสีแดง 50% และแบ่งไปยังหน้าเพจที่มีปุ่มสีเขียว 50%

หลักการทำ A/B Testing ที่ดี

ก่อนอื่นต้องขอแจ้งก่อนว่านี้เป็นวิธีการทำ A/B Testing แบบบ้านๆของผมเอง แต่รับประกันว่าถูกต้องตรงตามหลักการและสามารถใช้งานได้จริง โดยแบ่งออกเป็น 3 Steps ดังต่อไปนี้ครับ

  1. กำหนดเป้าหมาของการเปรียบเทียบ: ทุกครั้งก่อนที่จะทำ A/B Testing เราจะรู้ก่อนว่าเราจะทำไปเพื่ออะไร เราต้องการพัฒนาสิ่งใดให้ดีขึ้น เช่นเรามีการออกแบบเว็บไซต์ทั้งหมด 2 รูปแบบ (คือแบบ A และแบบ B) และต้องการเปรียบเทียบว่ารูปใดที่สร้างยอดขายให้เราได้มากกว่ากัน (Goals ของการทำ A/B Testing ก็คือ Conversion หรืออาจจะใช้ Goals เป็น Revenue ก็ได้เหมือนกัน)
  2. ทำการทดสอบ โดยควบคุมไม่ให้ปัจจัยอื่นๆมากระทบ: การทำ A/B Testing เพื่อเปรียบเทียบการออกแบบเว็บไซต์ทั้ง 2 รูปแบบเราจะต้องทำการควบคุมให้ Element อื่นๆที่เหลือเหมือนกันทั้งหมด มีเพียงตัวแปรเรื่องการออกแบบเว็บไซต์ A และ B เท่านั้นที่แตกต่างกัน สาเหตุที่ทำอย่างนี้ก็เพราะว่าถ้ามีหลายๆ Element ที่แตกต่างกันจะทำให้เราไม่สามารถสรุปในตอนท้ายได้ว่า ผลลัพธ์ที่แตกต่างกันเนื่องจากตัวแปรของเราหรือไม่
  3. ทำการวัดผลและสรุปผล: การวัดผล A/B Testing ที่ดีควรจะวัดผลออกมาเป็นตัวเลขได้ เพื่อทำการเปรียบเทียบระหว่าง Variation แบบต่างๆแบบไหนที่ให้ผลลัพธ์ (ยอดขาย) ที่ดีกว่ากัน อย่างเช่นในตัวอย่างนี้เราจะต้องมีเครื่องมือที่สามารถวัดผลได้ว่าการออกแบบ A กับ การออกแบบ B อะไรสร้างยอดขายได้ดีกว่ากัน

แบ่ง Audience ออกเป็น 50% แล้วแบ่งไปยังแต่ละ Version

นี่ก็เป็น 3 ขั้นตอนในการทำ A/B Testing แบบง่ายๆสไตล์ของผม จริงๆแล้วการทำ A/B Testing ให้ถูกต้องตามทฤษฎีทางวิทยาศาสตร์จริงๆยังมีขั้นตอนและความเคร่งครัดที่มากว่ากว่านี้เช่นควรทำการทดสอบอย่างน้อย 3 ครั้งเพื่อให้ผลลัพธ์สรุปได้แม่นยำจริงๆ การควบคุมตัวแปรต้นตัวแปรตามอย่างละเอียด และการหาค่าเฉลี่ยของการทดสอบ (แค่พูดก็ปวดหัวแล้ว) แต่การทำงานจริงๆทางการตลาดบางครั้งเราอาจจะไม่มีเงินและเวลามากพอที่จะทำอย่างนั้นได้

ตัวอย่างการทำ A/B Testing

เพื่อความเข้าใจมากยิ่งขึ้นเรามาลองดูตัวอย่าง A/B Testing กันอีกสักหนึ่งตัวอย่างครับ สมมุติว่าผู้ลงโฆษณาเกิดความต้องการที่จะทดสอบว่าควรเลือกใช้ปุ่ม Call to Action ในโฆษณา Facebook แบบใดที่จะทำให้กลุ่มเป้าหมายเกิด Engagement มากที่สุดระหว่างปุ่ม Learn more กับปุ่ม Shop now เราจะทำมาลองทำ A/B Testing สำหรับกรณีนี้กันดูนะครับ

เปรียบเทียบระหว่างปุ่ม Call to action แบบ Learn More กับ Shop Now

  1. ทำการกำหนดเป้าหมายของ A/B Testing ซึ่งนั่นก็คือ การหา Call to Action แบบที่เกิด Engagement กับโฆษณาของเราได้ดีที่สุด
  2. อย่างที่ได้พูดเอาไว้ด้านบนเพื่อให้เป็นการทำ A/B Testing ที่ดีเราจะต้องทำการควบคุม Element อื่นๆให้เหมือนกันให้หมดไม่ว่าจะเป็น Headline, Caption และ Artwork มีเพียงอย่างเดียวที่แตกต่างกันระหว่าง Version A กับ Version B คือปุ่ม Call to Action ดังนั้นเราจะสร้างโฆษณา 2 แบบที่เหมือนกันทุกอย่างยกเว้นปุ่ม Call to Action
  3. หลังจากปล่อยโฆษณารันออกไปแล้วให้ทำการวัดผลว่า Call to Action แบบใดที่ทำให้เกิด Engagement กับกลุ่มเป้าหมายได้ดีกว่ากัน

นี่ก็ตัวอย่างการทำ A/B Testing แบบง่ายที่น่าจะเป็นประโยชน์สำหรับหลายๆท่านนะครับ การทำ A/B Testing ยังสามารถเอาไปทดสอบได้อีกหลายๆอย่างไม่ว่าจะเป็น

  • ทดสอบรูปภาพโฆษณา
  • ทดสอบ Objective ของโฆษณา
  • ทดสอบระหว่าง CPC กับ CPM
  • ทดสอบ Keyword ใน Google Adwords
  • ทดสอบ Audience List ใน GDN
  • ทดสอบ Bid adjustment
  • ทดสอบระหว่าง Landing Page ทั้ง 2 แบบ
  • บลาๆๆๆ (ผมสามารถยกตัวอย่างการทดสอบได้อีกเป็นร้อยบรรทัด)

** ผมเขียนเกี่ยวกับ A/B Testing ในการนำไปใช้จริงกับโฆษณา Facebook ใครสนใจคลิกที่นี้เพื่ออ่านได้เลยครับ

Benefits of Experiments

If you have a website, you have activities that you want your users to complete (e.g., make a purchase, sign up for a newsletter) and/or metrics that you want to improve (e.g., revenue, session duration, bounce rate). With Content Experiments, you can test which version of a landing page results in the greatest improvement in conversions (i.e. completed activities that you measure as goals) or metric value. You can test up to 10 variations of a landing page.

Content Experiments uses a somewhat different approach than standard A/B and multivariate testing. Content Experiments uses an A/B/N model. You’re not testing just two versions of a page as in A/B testing, and you’re not testing various combinations of components on a single page as in multivariate testing. Instead, you are testing up to 10 full versions of a single page, each delivered to users from a separate URL.

What you can do with Content Experiments in Analytics

With Content Experiments, you can:

  • Compare how different web pages or app screens perform using a random sample of your users
  • Define what percentage of your users are included in the experiment
  • Choose which objective you’d like to test
  • Get updates by email about how your experiment is doing

An example of using experiments to improve your business

Let’s say you have a website where you sell house-cleaning services. You offer basic cleaning, deep cleaning, and detailed cleaning. Detailed cleaning is most profitable of the three, so you’re interested in getting more people to purchase this option.

Most users land on your homepage, so this is the first page that you want to use for testing. For your experiment, you create several new versions of this web page: one with a big red headline for detailed cleaning, one in which you expand on the benefits of detailed cleaning, and one where you put an icon next to the link to purchase detailed cleaning.

Once you’ve set up and launched your experiment, a random sample of your users see the different pages, including your original home page, and you simply wait to see which page gets the highest percentage of users to purchase the detailed cleaning.

When you see which page drives the most conversions, you can make that one the live page for all users.

Note that any users that have installed the Analytics opt-out browser add-on will not see any web based Content Experiments.

A/B Testing Tools

Best A/B Testing Tools

  • Top Rated A/B Testing Tools include: Evergage, Monetate, Kameleoon, and AB Tasty.
  • Other A/B Testing Tools on the TrustMap include: Qubit, VWO, Optimizely, and Maxymiser.
  • A complete list of A/B Testing Tools is available here.

TrustMaps are two-dimensional charts that compare products based on satisfaction ratings and research frequency by prospective buyers. Products must have 20 or more ratings to appear on this TrustMap, and those above the median line are considered Top Rated.

A/B Testing Tools Overview

What is A/B Testing?

A/B or split testing divides web traffic among multiple versions of a page and provides information on which version performs better at achieving a desired outcome such as signups or purchases.

The testing process aims to optimize a website’s ability to convert visitors into leads or customers. The goal is generally to increase revenue without spending more money to acquire traffic.

A/B Testing Tools Features & Capabilities

Most A/B testing tools use a snippet of code, usually JavaScript. The code is placed on a website to control content and track traffic and conversions. This allows marketers to set up tests directly from the tool’s interface, without requiring additional IT or development time.

All A/B testing tools include the following features:

Splitting traffic among the different variations being tested

Calculating conversion rates

Measuring statistical likelihood that one variation will consistently outperform the other

Basic A/B testing tools may require custom design and code. Some advanced tools offer a WYSIWYG interface for creating variations. This is without needing to use HTML or CSS, which works well for non-technical users.

More sophisticated tools run targeted campaigns. These tools display different versions based on demographics, device type or referral source. They can also perform multi-page campaigns. This means testing one element (like a banner) on multiple pages during a session. These advanced tools help create a personalized user experience, with the goal of maximizing conversions.

A/B Test Best Practices

It is generally best to change one element of a page at a time so that any change in outcome can be attributed. With this approach, you’ll know which element results in better conversion.

Elements to test include:

Some split testing tools allow multivariate testing. This allows you to change multiple elements on one page, creating countless combinations. An analyst can then measure the impact of each variable on conversion.

Split testing should run long enough to reach statistical significance — at least 95% confidence. The amount of time needed varies depending on the amount of traffic to the page. Because they involve many versions, multivariate tests require more time and traffic to reach statistical significance.

A/B Testing and Conversion Rate Optimization (CRO)

A/B testing is often part of conversion rate optimization. CRO refers to the process of continually improving a website’s effectiveness at reaching its goal. Usually, the goal is to turn visitors into customers or leads.

It is usually a cyclical workflow, involving multiple steps:

Monitoring website visitor behavior

Gathering insight and visitor feedback

Testing a hypothesis for improving conversions

Key technologies in the CRO workflow include:

In-page web analytics (heat mapping, visitor recordings, etc.)

A/B testing tools

Pricing Information

Getting pricing information for a specific A/B testing tool typically requires asking for a quote. You can find basic plans for as little as $50 per month. The more sophisticated tools can run up to $18,000 per year.