Methoden en Analysetechnieken

Het doel van dit project is het samenbrengen van kennis en inzichten op het gebied van Data Driven Innovatie (DDI). Het project onderzoekt specifieke vragen van interactieve mediabedrijven gericht op hoe zij meer profijt kunnen halen uit de verzamelde gebruikersdata. Met die kennis kunnen zij bestaande apps verder optimaliseren voor hun klanten én nieuwe diensten ontwikkelen voor hun klanten en vanuit een zelfstandige positie in de keten. Dit zal concreet worden onderzocht in experimenten door aanpassingen in de ontwikkelde apps en het effect ervan op de gebruikerservaring vast te stellen. De cumulatieve kennis zal de volgende deliverables opleveren: een stappenplan DDI om de waarde van gebruikersdata te bepalen voor de eigen organisatie en hierna te handelen, een platform voor uitwisseling van metadata, data-uitwisselings en data-analyse logica en 6 nieuwe business modellen voor DDI gebaseerd op validatie in experimenten. De overkoepelende onderzoeksvraag luidt:

Hoe kunnen nieuwe inzichten uit gebruikersdata systematisch worden verzameld, geanalyseerd en gevalideerd, en welke business modellen helpen om deze nieuwe inzichten te borgen in de strategie van de organisatie?

Door het uitvoeren van experimenten met aangepaste app-functionaliteiten en daarbij de
gebruikerservaring te meten aan de hand van bestaande wetenschappelijke meetschalen, kan worden nagegaan wat wel en wat geen toegevoegde waarde heeft voor de eindgebruiker. Voor de uitvoering hiervan kunnen de volgende deelvragen worden gesteld.

Deelvraag 1: Welke nieuwe inzichten liggen verborgen in de door interactieve mediabedrijven
verzamelde gebruikersdata?

In het algemeen is het goed voorstelbaar dat er in databases meer relaties, patronen en inzichten zitten dan op het eerste gezicht lijkt. Data die waardevoller zijn voor het bedrijf dan initieel gedacht. De vraag is natuurlijk hoe op een gestructureerde manier gekomen kan worden tot nieuwe inzichten. Vragen over datakenmerken, standaardisering, combinatiemogelijkheden en analysetechnieken zullen hierin een rol spelen. Maar welke van deze aspecten zijn nu noodzakelijk en dominant in het komen tot deze nieuwe inzichten? Deze vragen worden bij elke partner gesteld over de data van verschillende apps bij deze partner.

Deelvraag 2: Welke gebruikerservaring hebben consumenten bij apps voor live video content en welke wensen en verwachtingen hebben zij over verbetering/vernieuwing daarvan?

Consumenten komen in aanraking met allerlei content op allerlei devices gedurende de gehele dag. Dat levert een geheel aan ervaringen, verwachtingen en wensen op die ook bij de consumptie van live video content een rol spelen. Door het specifieke karakter van live video content is het wel van belang te weten welke ervaringen, verwachtingen en wensen er nu precies spelen voor dit type content.

Deelvraag 3: Wat is het effect van aanpassingen in de apps op de gebruikerservaring?

Inzichten vanuit de data en inzichten vanuit consumenten worden met elkaar vergeleken om tot een keuze te komen van welke aanpassing in de apps gemaakt moeten worden om tot een betere gebruikerservaring te komen. Dit kan leiden tot één nieuw prototype wanneer de uitkomsten van onderzoek naar deelvraag 1 en 2 overeenkomen, maar ook tot twee prototypes wanneer de uitkomsten van onderzoek naar deelvraag 1 en 2 te veel van elkaar verschillen om in één functionaliteit onder te brengen. Het effect zal moeten worden gemeten in een A/B test waarbij zowel de feedback in de data als de feedback van de gebruikers zelf gebruikt zal worden om dit effect vast te stellen.

Deelvraag 4: Welke gevolgen heeft Data-Driven Innovatie voor de strategie en de werkwijze van het interactieve mediabedrijf?

Zoals eerder opgemerkt heeft het meer centraal stellen van data als een key resource in het bedrijf gevolgen voor de strategie en werkwijze van het bedrijf. Om dit systematisch in kaart te brengen kan gebruik worden gemaakt van business model innovation. Aan de hand van reeds beschikbare methoden zoals het DDBM Framework van de Cambridge Service Alliance, Business Model Canvas en STOF zullen de gevolgen in kaart gebracht worden.

De enquete activiteiten zijn gericht op het in kaart brengen van gebruikerservaringen, wensen en verwachtingen specifiek voor live video content apps. Hierbij is gebruik gemaakt van gebruikers enquêtes, diepte interviews, surveys en desk research. Inzichten worden vergaard specifiek gericht op het gebruik van live video content en bij specifieke doelgroepen (sportliefhebbers, entertainment zoals quizzen). Dit zal worden aangevuld met bestaande informatie over consumentengedrag van de deelnemende bedrijven en algemene literatuur.

• In september 2016 én 2017 vindt er een gebruikers enquête plaats onder 500 bezoekers op de IBC 2016 en IBC 2017 omtrent gebruik, wensen en verwachtingen ten aanzien van apps bij live video content zoals entertainment, sport en grote events.
• In oktober 2016 en 2017 vinden er 25 diepte interviews plaats met consumenten en experts in de doelgroep van de apps die in de experimenten een rol gaan spelen. Interviews gaan over daadwerkelijk gebruik van apps en wensen en verwachtingen van apps bij nieuwe formats voor live video content.
• In november – december van 2016 én 2017 vindt een uitgebreide survey plaats onder 5000 consumenten die zal vragen naar feitelijk gebruik van apps en wensen ten aanzien van extra diensten rond live video content.

De interactieve mediabedrijven hebben tijdens de gesprekken herhaaldelijk aangegeven dat ze meer informatie en kennis uit de data kunnen halen dan nu het geval is, maar dat dit door tijdgebrek en doordat de klant er niet om vraagt, er steeds bij inschiet. Extra analyses en experimenten, als ze al gedaan worden, zijn ad hoc en hebben geen vast stappenplan. In het onderzoek gaan we daarom systematisch onderzoeken welke informatie uit data te halen is (per app en over de verschillende apps heen), welke verbeteringen kunnen worden doorgevoerd in de apps, wat het effect hiervan is, hoe de werkwijze stapsgewijs kan worden
uitgevoerd en welke consequenties er zijn voor het business model. Centraal in dit project staan de experimenten met de volgende 6 case studies:

1. Nationale testen op NPO1 en NPO3.
2. Spelshow apps.
3. Internationale speelshow
4. Livestreams, video’s on demand en nieuws op sports apps.
5. De ‘Opgelicht’-app toont de meldingen van opgelicht.nl.
6. Live Event in de Amsterdam ArenA.

Op basis van inzichten in de gebruikersdata van de verschillende apps en door middel van survey en kwalitatief onderzoek (interviews) met gebruikers wordt bepaald welke functionaliteiten meerwaarde creëren. Van de app wordt vervolgens een aangepaste versie gemaakt. Het kan zijn dat inzichten vanuit de data en de gebruiker niet te integreren zijn in één nieuwe functionaliteit, dan zullen twee aangepaste versies worden gemaakt (B1 en B2). We gaan in de verdere beschrijving van deze situatie uit. De originele app en de aangepaste app worden vervolgens in een A/B test met elkaar vergeleken. Dit zal zowel plaatsvinden in een real-life setting (tijdens de uitzending onder de kijkers) als in een labtest (zelfde content van uitzending inclusief interactie momenten met proefpersonen uit dezelfde populatie als de kijkers uit de real-life setting).

Zowel het experiment in de real-life setting als de labtest zullen between-subject experimenten zijn, dit betekent dat verschillende gebruikers met elkaar vergeleken worden.In de real-life setting zal data geanalyseerd worden van de gebruikers per conditie per app. De data wordt anoniem verwerkt.

Voor de gebruikerservaring worden de volgende constructen bevraagd in de experimenten en zullen gestandaardiseerde vragenlijsten worden gebruikt:

• User engagement: de mate waarin de gebruiker betrokken is bij een specifieke taak (Lalmas, O’Brien & Yom-Tov, 2015);
• Perceived Message Sensation Value (PMSV): de mate waarin gebruikers positief reageren op nieuwe contentstimuli;
• Presence: de mate waarin de gebruiker ervaart deel uit te maken van de content (Witmer & Singer,1994);
• Waardering: de mate waarin de gebruiker waardering toont (Van Vliet, 2012);
• Loyaliteit: de mate waarin de gebruiker een positieve attitude en/of handelingsvoornemen heeft (Van Vliet, 2012);
• Koopintentie: de mate waarin de gebruiker de intentie heeft het product aan te schaffen.