30. MONTAGS-Interview auf Web Analytics Europa – Heute: Dan Siroker


Dan Siroker ist Co-Founder von Optimizely, einem Optimierungs-Unternehmen – in diesem Interview verrät er Web Analytics Europa einige Einblicke zu Optimization und seinem neuen Buch

Dan Siroker Optimizely

Das Interview wurde auf Englisch geführt, um die Inhalte so genau wie möglich wiederzugeben.

Dan is the CEO and co-founder of Optimizely. The original inspiration for Optimizely came from his experience as the Director of Analytics on the Obama 2008 campaign. Prior to Optimizely, Dan served as Product Manager for Google Chrome and AdWords. Dan Siroker has also been featured on Bloomberg, the Wall Street Journal, New York Times and Wired and recognized by Forbes as Top 30 under 30 in Technology in 2012.

Web Analytics Europa: A book about optimization. Why?

Dan Siroker: We had an idea for our book “A/B Testing” – The Most Powerful Way to Turn Clicks into Customers“ – for a while. At the time, we had thousands of customers, advocates and partners that made the project possible. The book highlights key takeaways and best practices from hundreds of thousands of tests, which have been run on our platform and make them accessible to the public. It aims to educate people who don’t yet know about the value A/B testing can bring to organizations. We also want to inspire marketers to take the testing process into their own hands. Over the last few years, web site optimization through A/B testing has also become available to anyone who is interested in the impact of data-driven marketing, but without the need for technical resources.

The book is also a way to address the following questions, which we have been asked over the last years:
– What is A/B testing?
– Why will it add value to my company?
– Where do I begin testing?
– How do I build a testing culture at my company?

Today, the average conversion rate of the websites out there is roughly 2%, meaning that 98% of visitors to a website do not become customers. A/B testing enables businesses to make the leap from “we think” to “we know” data-driven decisions. Data has enabled teams to let the data be the decision maker. This is of course one reason we wrote the book. We firmly believe in the power of A/B testing because we have seen more than 6.000 of our customers use it to their advantage. Another reason we wrote this book was because we were not able to find a guide to A/B testing that summarized our learnings over the last years in a practical way that would at the same time inspire others. The book is meant to be an actionable guide for everyone who wants to learn more about testing and how to create a culture of testing in their organization.

AB Testing Book

Web Analytics Europa: Can you give a detailed example of a successful case study you were able to achieve?

Dan Siroker: I think if we talk about testing in general, then this would be the Case Study from the Obama campaign. It is the case study that inspired us to start Optimizely and may be the most successful experiment I can think of. I was Director of Analytics at the Obama campaign in 2008. Our overall goal was to increase online donations for the campaign. To increase signups and donations, we decided to test different buttons and different media elements in order to see which ones performed best. We tested 4 different buttons saying: “Sign Up”, “Learn more”, “Join us now”, “Sign up now”. We also tested three images and three videos. The results were eye opening and very counterintuitive. We found out that the combination of the button “Learn More” and the family image of the Obama’s performed the best. All the videos performed worse than the images, which was very surprising to the entire team. By running this test, we increased e-mail subscriptions by 40.6 percent. This led to an increase of 280,000 volunteers, which in turn led to $57 million Dollars in donations. Without having established quantifiable success metrics and testing them, we would never had known that visitors would respond best to the combination of “Learn more” and the family image.

This case can teach us many things about testing. First of all, it shows us that small changes in elements such as buttons or images can lead to amazing results. Second of all, the Obama case study teaches us to challenge the status quo. We shouldn’t base our decisions on assumptions.

Web Analytics Europa: Being the Director of Analytics at the Obama Campaign sounds extremely exciting and on the other hand very confidential. Can you let us know the set up around those campaigns and the team (size, responsibility, feedback by Obama etc.)?

Dan Siroker: For outsiders, it’s hard to imagine the size of a team that is involved in running a presidential campaign. On top the food chain is of course the candidate himself, and directly below him is the campaign manager. He oversees a number of different departments such as field, correspondence, paid media, which was TV and radio, operations, finance and New Media. I was part of the New Media team which was basically everything technology-related that the people from the other departments didn’t understand. Video, marketing, design, blog as well as my team, the analytics team – all belonged to the New Media team. I was leading the analytics team, a team of 6 members. We were situated kind of in the middle of the whole funnel. Online marketing would be the top of the funnel and tried to get people to visit the site. The same with the blog team. They were constantly writing and telling stories which were not about the candidate himself, but more about the supporters. Once people had come to the site they would receive e-mails from the e-mail team. A lot of the mails were on a local or state level and customized to the state in which people were living. The design team was responsible for all the design of the hand-outs and the website. Our analytics team was composed of engineers and analysts.

Web Analytics Europa: Can you also explain the missed opportunities when not analyzing your website via Optimization?

Dan Siroker: As mentioned, conversion rates for websites average 2%. This means that 98% of your visitors are not turning into customers. A lot of companies spend the largest part of their marketing budgets on driving traffic to a website. Since the website or the landing pages are not optimized, many of these visitors will not convert and a lot of money spent on these campaigns is wasted. This could be drastically improved by focusing more attention on optimization of these pages. A/B testing is a very low risk tool that is extremely powerful. Companies that do not test give away competitive advantages to competitors. Why is that? A/B tests help make decisions based on data. With every test we run, we learn more about user experience. Decisions based on user data can offer the best experience to our visitors and turn more of them into customers.

AB Website Testing

Web Analytics Europa: Where do you see testing “going”? What will change in 2014? What will be different in five years from now? Will it be a commodity to do tests before publishing any kind of content?

Dan Siroker: We have seen that in 2013, only around 14% among the top 10,000 websites worldwide have a testing solution in place. We are at a tipping point with organizations starting to understand the benefit of optimization to deliver targeted web experiences based on customer insights such as browsing history, geography or particular interests.

With online retailers delivering dynamic experiences to customers and publishers optimizing their paywalls to maximize revenue, 2014 is going to be a big year for harnessing the power of online insight to drive revenue. In the future, optimization and website testing will become more engrained in the organization. We will also see the rise of the ‚Chief Testing Officer‚, a person that will oversee testing, coordinate testing in different departments and help steer the strategy and knowledge sharing around testing. In the next couple of years we will also be able to observe that some industries which have not been very serious about testing will engage and discover the benefits that testing can bring to their organizations as well. Mobile and the optimization of experiences across devices will be a trend that is going to continue and grow in the years to come. As competition online rises, focus will shift to efficiency in order to gain competitive advantages.

Das letzte Interview finden Sie hier: 29. MONTAGS-Interview auf Web Analytics Europa


7 Jahre Web Analytics Europa


Heute feiern wir Geburtstag – und zwar den 7.

Vielen Dank an alle Leser, Kommentatoren und Gastautoren. Ich freue mich auf die nächsten Beiträge. Danke auch an die über 120 Abonnenten und durchschnittlich ca. 3.500 Besucher und 15.000 Seitenaufrufe monatlich.

Web Analytics Blog wird sieben Jahre alt

Über aktivere Beteiligung würde ich mich sehr freuen.
Web Analytics Europa


Webtrekk eröffnet Niederlassung in Niederlande


Webtrekk mit Büro in Amsterdam – Fred Pellenaars wird Country Manager Benelux

Webtrekk eröffnet eine Niederlassung in Amsterdam und bietet somit auch ihren Kunden aus Benelux einen Ansprechpartner in der Region. Webtrekk ist ein Spezialist für Data Intelligence und Web Analytics und konnte bereits Kunden aus den Branchen eCommerce und Media in der Region gewinnen.

Webtrekk feste europäische Größe in der Analytics-Branche
Das Unternehmen setzt bei seiner Expansionsstrategie weiterhin auf Kundennähe und lokale Expertise. Mit dem neuen Büro festigt Webtrekk seinen Anspruch, eine feste europäische Größe in der Analytics-Branche zu sein. Aufbau und Leitung der Benelux-Niederlassung übernimmt Fred Pellenaars, der umfassende Erfahrung und ein starkes Netzwerk aus seiner achtjährigen Tätigkeit bei comScore mitbringt. Er berichtet direkt an CCO Ralf Haberich.

BeNeLux - Digital Intelligence Suite mit neuem Office in Amsterdam

Leitung des Standorts übernimmt Fred Pellenaars
Fred Pellenaars war zuletzt langjährig als Senior Account Sales Manager bei comScore (ehemals Nedstat) tätig. Der 43-Jährige hat sich ehrgeizige Ziele für das Office gesetzt. Er wird die Bekanntheit von Webtrekks Digital Intelligence Suite in Benelux steigern und potentielle Neukunden abholen, die bei anderen Anbietern wegen fehlendem lokalen Support unzufrieden sind. Fred Pellenaars hält einen Bachelor in Business Administration. Nach seinem Studium stieg er als Software Development Consultant bei Syntegra (heute BT) ein, durchlief anschließend das “Young Management Development Program” bei Ormit und baute seine Managementerfahrung u.a. bei Trees Holding weiter aus.

Weitere Mitarbeiter für Consulting und Support sollen im Laufe der nächsten Monate folgen. 2003 von Christian Sauer gegründet, betreuen heute über 100 Mitarbeiter Webtrekks Kunden von den sechs Niederlassungen in den USA, China und Europa aus.


29. MONTAGS-Interview auf Web Analytics Europa – Heute: Boris Hedde


Schadet eCommerce dem Handel? Boris Hedde, Geschäftsführer beim IFH Institut für Handelsforschung, hat vor wenigen Tagen eine Studie veröffentlicht, die Einblicke in Synergien und Gegensätze von eCommerce und stationärem Handel gibt

IFH Koeln Boris Hedde eCommerce Studie

Web Analytics Europa interviewte Boris Hedde aufgrund der letzten Pressemitteilung zu eCommerce vs stationärer Handel. Vor seiner Tätigkeit als Geschäftsführer beim IFH war Hedde fast 10 Jahre in der Marktforschung – mit speziellem Fokus auf Marke und Kommunikation. Bis 2008 war er für das Forschungs- und Beratungsunternehmen Sport+Markt AG tätig.

Web Analytics Europa: Das Institut für Handelsforschung hat den Einfluss des Onlineshoppings auf den stationären Handel untersucht. Können sie kurz die Aufgaben des IFH sowie die Herangehensweise beschreiben?

Boris Hedde: Als Schnittstelle von Wissenschaft und Praxis bietet das IFH Köln seit 1929 Forschung und Beratung für den Handel und die Konsumgüterindustrie. Das IFH Köln und die Online-Abteilung des Instituts – das ECC Köln – veröffentlichen Studien zu aktuellen Themen des Handels, wie beispielsweise Cross-Channel, Mobile, Nachhaltigkeit oder Marken. Mithilfe unserer umfangreichen Datenbanken können wir Märkte detailliert analysieren und Strategien entwickeln. So können wir als Brancheninsider praxisrelevantes Wissen für erfolgreiche Unternehmensentscheidungen liefern.

Web Analytics Europa: Was sind die markantesten Ergebnisse in dieser Studie, mit wem haben Sie die Studie durchgeführt?

Boris Hedde: Bei den Ergebnissen handelt es sich nicht um eine eigenständige Studie zum Thema Innenstadtfrequenzen, sondern um Teilergebnisse des allgemeinen Teils unseres CSR-Trackers mit Schwerpunktfragen zum Thema Nachhaltigkeit und E-Commerce. Das IFH Köln misst mit dem halbjährlichen CSR-Tracker die öffentlich wahrgenommene Corporate Social Responsibility im Handel. Befragt werden dabei Verbraucher zur ihrer Einschätzung von insgesamt knapp 50 verschiedenen Einzelhändlern. Dabei wird zwischen sechs relevanten CSR-Dimensionen unterschieden. Die Studie haben wir eigeninitiativ durchgeführt.
Der halbjährlich erscheinende CSR-Tracker kann über den Online-Shop des IFH Köln bezogen werden.

eCommerce versus stationärer Handel - Studie des IFH

Web Analytics Europa: Nun lautet das Ergebnis, dass Online dem stationären Handel doch deutlich das Wasser abgräbt, auch wenn Sie weiterhin von Chancen für den Einzelhandel sprechen? Welche Chancen sind das?

Boris Hedde: Schon die Betrachtung, den Einzelhandel als rein stationäres Spielfeld zu sehen, entspricht genau dem notwendigen Wechsel im Mindset. Keiner gräbt keinem das Wasser ab, sondern die Strukturen verändern sich. Wer diese Veränderung mitgeht und die Bedürfnisse der Kunden versteht, wird auch erfolgreich bleiben. Wer jedoch die Augen verschließt und nicht für neue Trends offen ist, wird ein großes Problem haben. Die Branche unterliegt aktuell einem überaus starken und dynamischen Wandel. Die Karten werden neu gemischt – neue Konzepte werden erprobt, kanalübergreifende Strategien implementiert. Derjenige Händler – ob online oder offline, klein oder groß – der seine Kunden am besten versteht und Services, Sortimente und allgemeine Mehrwerte mitbringt wird sich durchsetzen können.

Web Analytics Europa: Wie sollte der stationäre Einzelhandel in den nächsten Jahren gewappnet sein? Empfehlen Sie nun jedem einen Online-Shop oder wie sehen Ihre Hilfestellungen für den Handel aus?

Boris Hedde: Nicht jeder Händler braucht zwangsläufig einen eigenen Onlineshop, aber jeder braucht eine eigene Online-Strategie. Ein Online-Shop ist nur ein Weg im Netz aktiv zu sein. Auch Verbundlösungen, die Nutzung alternativer Online-Vertriebswege (z.B. Marktplätze) oder der Einsatz mobiler Applikationen zur Unterstützung des stationären Umsatzes können Lösungen sein. Hierfür gibt es kein allgemeingültiges Erfolgsschema, Strategien müssen immer für den Einzelfall entwickelt werden. Je nach Branche, Preislage, Standort und Konzept sind differenzierte Analysen notwendig, um die richtige Strategie zu finden.

Web Analytics Europa: Werden Sie diese Studie jährlich wiederholen?

Boris Hedde: Nein, wie oben beschrieben, handelt es sich bei der veröffentlichten Pressemeldung lediglich um ein Teilergebnis der Sonderfragen unserer Studie CSR-Tracker.

Web Analytics Europa: Wie ist Ihre Einschätzung zur Zukunft der Beziehung zwischen Online und Handel: Kannibalisierung oder Ergänzung?

Boris Hedde: Der Online-Handel ergänzt den stationären Handel und kann auch zu Zusatzumsätzen verhelfen, die ohne den Online-Kanal nicht realisiert worden wären. Laut unserer Befragung gibt rund jeder Fünfte an, nicht seltener in die Stadt zu fahren, obwohl auch online Käufe getätigt werden. Der Online-Kanal übernimmt demnach Showroom-Funktionen für den stationären Handel. Laut unserer aktuellen Cross-Channel-Studie werden rund 50 Prozent des stationären Umsatzes durch Online-Recherchen vorbereitet. Es zeigt sich also, wie wichtig die Verknüpfung der einzelnen Vertriebskanäle ist. Vor diesem Hintergrund sind auch die Städte gefragt Rahmenbedingungen für den Handel zu schaffen und sich attraktiv zu präsentieren.

Die gesamten Interviews der MONTAGS-Reihe finden Sie hier: MONTAGS-Interview auf Web Analytics Europa