Big Data: 5 V's

Big Data

1 / 47
volgende
Slide 1: Slide
newEditor

In deze les zitten 47 slides, met tekstslides.

Dit is niet oké

Onderdelen in deze les

Big Data

Digitale voetafdruk

Je bent vanmorgen opgestaan
en naar hier gekomen.

Welk digitaal spoor heb je achtergelaten?

Klas vraag

Het internet per seconde

hoeveel zoekopdrachten gebeuren er per seconde op google?

99.000 tot bijna 190.000 zoekopdrachten per seconde

hoeveel berichten verstuurd op whatsapp per dag?

Meer dan 100 miljard berichten op whatsapp per dag

Hoeveel uur aan video per minuut word er geupload op youtube?

Meer dan 500 uur per minuut geupload

Data van één zelfrijdende auto, per dag?

+/- 4.000 GB per dag

Live stats

Back to big data

Met deze nieuwe info.
Wat denk je dat big data zou zijn?

Klas vraag

Big Data is een verzameling van zóveel, zó snelle en zó verschillende gegevens dat gewone computers en programma's het niet meer kunnen verwerken.


Big data wordt gekenmerked door de 5 V's

  1. Onderzoek A (Klassiek): Een winkelketen bevraagt 200 klanten via een enquêtenummer aan de kassa: "Wat koopt u het liefst bij het ontbijt?"

  2. Onderzoek B (Big Data): Albert Heijn of Colruyt analyseert automatisch 5.000.000 scannings van de klantenkaart in combinatie met het weerbericht en de tijd van de dag.

Vergelijking

  1. Volume (Hoeveelheid)

  2. Velocity (Snelheid)

  3. Variety (Variatie)

  4. Veracity (Betrouwbaarheid)

  5. Value (Waarde)

De vijf V's

  1. Volume

  • De enorme hoeveelheid gegevens die dagelijks gegenereerd wordt

  • Je werkt niet meer met kleine datasets

  • maar met miljarden rijen data

Volume

Facebook verwerkt elke dag ongeveer 500 miljoen foto's en miljarden likes en opmerkingen.


Netflix houdt bij: welke film je kijkt, wanneer je pauzeert, hoe lang je kijkt, op welk apparaat. Voor 250 miljoen abonnees = miljarden eenheden gegevens per maand.

Volume: Voorbeelden

  1. Velocity (snelheid)

  • De snelheid waarop gegevens binnenkomen en verwerkt moeten worden.

  • Gegevens in real-time vereisen dat je niet tot morgen kunt wachten met analyseren.

Velocity

  • Een online winkel als Amazon: als jij en miljoen andere mensen tegelijk iets kopen, moet het systeem direct de voorraad bijwerken

  • Google Maps: miljoen auto's sturen tegelijk hun locatie. Alles moet in seconden verwerkt worden, anders krijg je verouderde routes en sta je in files waar je niet in hoort.

Velocity: Voorbeelden

  1. Variety(verscheidenheid)

  • Data bestaat in veel verschillende vormen en formaten.

  • Niet meer alleen getallen in tabellen, maar video, audio, tekst, logs, GPS-locaties, etc.

Variety

  • Een ziekenhuis verzamelt: patiëntgegevens (getallen), foto's van röntgenfoto's, aantekeningen van artsen (tekst), hartritme-metingen (sensoren).

  • Een online winkel slaat op: productgegevens (tabel), klantbeoordelingen (tekst), productfoto's (afbeeldingen), surfgedrag op de website

Variety: Voorbeelden

  1. Veracity (betrouwbaarheid)

  • De nauwkeurigheid en kwaliteit van gegevens

  • Veel gegevens = veel fouten

  • ontbrekende waarden, verdubbeling, verouderde informatie, nepgegevens.

Veracity (Betrouwbaarheid)

  • Weersvoorspellingen: als sensoren kapot gaan of op verkeerde plekken staan, geeft je weerapp foute informatie.

  • Sociale media: bots en nepaccounts beïnvloeden gegevens. Als je analyseert hoeveel mensen een post hebben gezien, maar 30% zijn bots, klopt je getal niet.

Veracity: Voorbeelden

  1. Value (waarde)

  • Uit al dat volume, snelheid, verscheidenheid en betrouwbaarheid moet je waarde halen

  • waarde = inzichten die geld opleveren of problemen oplossen

  • Anders verspilde opslagruimte

Value (Waarde)

Een datawarehouse is een centrale databank waarin een organisatie gegevens uit verschillende bronnen samenbrengt, opschoont en bewaart, met als doel ze te analyseren en er beslissingen op te baseren.

Datawarehouse

Data warehouse

  • Netflix: Analyseert ons kijkgedrag. Weet perfect in welke series of films ze moeten investeren. Zo gaan ze niet snel een flop aankopen.

  • Spotify: Volgt je luistergedrag, bekijkt wat je graag luistert en beveelt gelijkaardige muziek aan waardoor we meer luisteren.

Value: Voorbeelden

Een fietsenketen, FietsPlus, heeft winkels in heel Vlaanderen en een webshop. De data zitten in verschillende systemen:


  • het kassasysteem in de winkels: verkopen per winkel

  • de webshop: online bestellingen

  • het klantenbestand: namen, adressen, leeftijden

  • de boekhouding: aankoopprijzen, kosten

Voorbeeld

"Welke fietsmodellen leveren de meeste winst op, en verschilt dat tussen de winkels en de webshop?"

Voorbeeld

verkoop-, product- en kostendata uit verschillende systemen. Die worden elke nacht opgeschoond en samengebracht in het datawarehouse, waar de analist ze in Power BI visualiseert.

Voorbeeld

ETL / ELT

ETL staat voor Extract – Transform – Load. Het is het proces waarmee data uit de bronnen worden gehaald, opgeschoond en omgevormd, en daarna in het datawarehouse worden geladen.

ETL

In de eerste stap haal je de data op uit de verschillende bronnen: bestanden (CSV, Excel), operationele databanken, webpagina's of API's.

Extract: data ophalen

Ruwe data zijn zelden meteen bruikbaar. In de Transform-stap maak je ze klaar voor analyse. Meestal is dit de grootste stap van het ETL-proces.


  • Opschonen: Lege rijen, titels en dubbele rijen verwijderen

  • Datatypes instellen:"1.250" omzetten van tekst naar een getal

  • Uniformiseren: "O-Vl." en "Oost Vlaanderen" worden "Oost-Vlaanderen"

Transform: opschonen

In de laatste stap worden de opgeschoonde en omgevormde gegevens in het datawarehouse geladen. Meestal gebeurt dit periodiek, bijvoorbeeld elke nacht. Bij elke nieuwe lading worden alleen de nieuwe gegevens toegevoegd.

Load: laden in het datawarehouse