Big Data
Big Data
Digitale voetafdruk
Je bent vanmorgen opgestaan
en naar hier gekomen.
Welk digitaal spoor heb je achtergelaten?
Klas vraag
Het internet per seconde
hoeveel zoekopdrachten gebeuren er per seconde op google?
99.000 tot bijna 190.000 zoekopdrachten per seconde
hoeveel berichten verstuurd op whatsapp per dag?
Meer dan 100 miljard berichten op whatsapp per dag
Hoeveel uur aan video per minuut word er geupload op youtube?
Meer dan 500 uur per minuut geupload
Data van één zelfrijdende auto, per dag?
+/- 4.000 GB per dag
Live stats
Back to big data
Met deze nieuwe info.
Wat denk je dat big data zou zijn?
Klas vraag
Big Data is een verzameling van zóveel, zó snelle en zó verschillende gegevens dat gewone computers en programma's het niet meer kunnen verwerken.
Big data wordt gekenmerked door de 5 V's
Onderzoek A (Klassiek): Een winkelketen bevraagt 200 klanten via een enquêtenummer aan de kassa: "Wat koopt u het liefst bij het ontbijt?"
Onderzoek B (Big Data): Albert Heijn of Colruyt analyseert automatisch 5.000.000 scannings van de klantenkaart in combinatie met het weerbericht en de tijd van de dag.
Vergelijking
Volume (Hoeveelheid)
Velocity (Snelheid)
Variety (Variatie)
Veracity (Betrouwbaarheid)
Value (Waarde)
De vijf V's
Volume
De enorme hoeveelheid gegevens die dagelijks gegenereerd wordt
Je werkt niet meer met kleine datasets
maar met miljarden rijen data
Volume
Facebook verwerkt elke dag ongeveer 500 miljoen foto's en miljarden likes en opmerkingen.
Netflix houdt bij: welke film je kijkt, wanneer je pauzeert, hoe lang je kijkt, op welk apparaat. Voor 250 miljoen abonnees = miljarden eenheden gegevens per maand.
Volume: Voorbeelden
Velocity (snelheid)
De snelheid waarop gegevens binnenkomen en verwerkt moeten worden.
Gegevens in real-time vereisen dat je niet tot morgen kunt wachten met analyseren.
Velocity
Een online winkel als Amazon: als jij en miljoen andere mensen tegelijk iets kopen, moet het systeem direct de voorraad bijwerken
Google Maps: miljoen auto's sturen tegelijk hun locatie. Alles moet in seconden verwerkt worden, anders krijg je verouderde routes en sta je in files waar je niet in hoort.
Velocity: Voorbeelden
Variety(verscheidenheid)
Data bestaat in veel verschillende vormen en formaten.
Niet meer alleen getallen in tabellen, maar video, audio, tekst, logs, GPS-locaties, etc.
Variety
Een ziekenhuis verzamelt: patiëntgegevens (getallen), foto's van röntgenfoto's, aantekeningen van artsen (tekst), hartritme-metingen (sensoren).
Een online winkel slaat op: productgegevens (tabel), klantbeoordelingen (tekst), productfoto's (afbeeldingen), surfgedrag op de website
Variety: Voorbeelden
Veracity (betrouwbaarheid)
De nauwkeurigheid en kwaliteit van gegevens
Veel gegevens = veel fouten
ontbrekende waarden, verdubbeling, verouderde informatie, nepgegevens.
Veracity (Betrouwbaarheid)
Weersvoorspellingen: als sensoren kapot gaan of op verkeerde plekken staan, geeft je weerapp foute informatie.
Sociale media: bots en nepaccounts beïnvloeden gegevens. Als je analyseert hoeveel mensen een post hebben gezien, maar 30% zijn bots, klopt je getal niet.
Veracity: Voorbeelden
Value (waarde)
Uit al dat volume, snelheid, verscheidenheid en betrouwbaarheid moet je waarde halen
waarde = inzichten die geld opleveren of problemen oplossen
Anders verspilde opslagruimte
Value (Waarde)
Een datawarehouse is een centrale databank waarin een organisatie gegevens uit verschillende bronnen samenbrengt, opschoont en bewaart, met als doel ze te analyseren en er beslissingen op te baseren.
Datawarehouse
Data warehouse
Netflix: Analyseert ons kijkgedrag. Weet perfect in welke series of films ze moeten investeren. Zo gaan ze niet snel een flop aankopen.
Spotify: Volgt je luistergedrag, bekijkt wat je graag luistert en beveelt gelijkaardige muziek aan waardoor we meer luisteren.
Value: Voorbeelden
Een fietsenketen, FietsPlus, heeft winkels in heel Vlaanderen en een webshop. De data zitten in verschillende systemen:
het kassasysteem in de winkels: verkopen per winkel
de webshop: online bestellingen
het klantenbestand: namen, adressen, leeftijden
de boekhouding: aankoopprijzen, kosten
Voorbeeld
"Welke fietsmodellen leveren de meeste winst op, en verschilt dat tussen de winkels en de webshop?"
Voorbeeld
verkoop-, product- en kostendata uit verschillende systemen. Die worden elke nacht opgeschoond en samengebracht in het datawarehouse, waar de analist ze in Power BI visualiseert.
Voorbeeld
ETL / ELT
ETL staat voor Extract – Transform – Load. Het is het proces waarmee data uit de bronnen worden gehaald, opgeschoond en omgevormd, en daarna in het datawarehouse worden geladen.
ETL
In de eerste stap haal je de data op uit de verschillende bronnen: bestanden (CSV, Excel), operationele databanken, webpagina's of API's.
Extract: data ophalen
Ruwe data zijn zelden meteen bruikbaar. In de Transform-stap maak je ze klaar voor analyse. Meestal is dit de grootste stap van het ETL-proces.
Opschonen: Lege rijen, titels en dubbele rijen verwijderen
Datatypes instellen:"1.250" omzetten van tekst naar een getal
Uniformiseren: "O-Vl." en "Oost Vlaanderen" worden "Oost-Vlaanderen"
Transform: opschonen
In de laatste stap worden de opgeschoonde en omgevormde gegevens in het datawarehouse geladen. Meestal gebeurt dit periodiek, bijvoorbeeld elke nacht. Bij elke nieuwe lading worden alleen de nieuwe gegevens toegevoegd.
Load: laden in het datawarehouse