Informatie en Data 04 - 4.1 tmt 4.4 - json dataformaat en Big Data

• Informatica
• Middelbare school
• havo, vwo
• Leerjaar 4,5

Proefwerk

Denk aan de toets voor maandag a.s.!

• gaat over A2 HTML&CSS en C1-2 informatie en data
• stof is fundament èn de slides in Magister!
• je mag 1 enkelzijdig handgeschreven A5 met aantekeningen mee (moet je wel inleveren met je toets)
• is op papier en in de les (45 minuten)

Informatie en Data

Fundament

Kerndomein C: Informatie

Informatie en data (C1-2)

4.1 tmt 4.4

https://fundament-online.nl/leeromgeving/content.php?id=52071

Leerdoelen

Na deze les kun je:

• beschrijven hoe het json dataformaat eruit ziet
• uitleggen wat Big data is en 5 kenmerken noemen
• omschrijven welke problemen met Big Data ontstaan
• vertellen wat een data-analist doet
• aangeven wat datamining is
• uitleggen dat correlatie geen causaliteit bewijst

Rode achtergrond betekent: klas is stil, dit zijn de leerdoelen en quizzes waarbij niet overlegd mag worden.

Doel van deze les is om het leren zichtbaar te maken voor zowel leerling als docent.

dataformaat: JSON 1/3

Een dataformaat dat door webservices vaak wordt gebruikt is JSON: JavaScript Object Notation

Dit dataformaat wordt door veel API's gebruikt, niet alleen door webservices

Het JSON dataformaat heeft namelijk veel voordelen!

dataformaat: JSON 2/3

Voordelen van JSON zijn bijvoorbeeld (er zijn er meer):

• dat de structuur goed leesbaar is voor mensen
• dat het flexibel is (meerdere datatypes ondersteunt)
• dat het klein en efficiënt is (qua data op de harde schijf)

dataformaat: JSON 3/3

Begin en eind

   {            }                          kan genest zijn!

sleutel is altijd een string (kan ook bv. "1" zijn)

waarde kan verschillende type zijn: int, string, array, etc

regels worden gescheiden met ,

Waar staat JSON voor?

1. JavaScript Object Notation
2. Jenga Structured Object Notation
3. Jupiter Standard for Object Navigation
4. ᵔ ᴥ ᵔ

Een JSON heeft sleutels en waarden
Wat is een JUIST voorbeeld?

1. 
2. 
3. 
4. ─=≡Σ(((つ•̀ω•́)つ

Een JSON heeft sleutels en waarden
Wat is een JUIST voorbeeld?

1. { 1 : "waarde" }
2. { "1" : "waarde"; }
3. { 1 : waarde }
4. =͟͟͞͞ =͟͟͞͞ ﾍ( ´Д`)ﾉ (geen van allen)

Waar staat JSON voor?
(allemaal kleine letters voor groen)

Big Data

Big Data is meer dan gewoon "veel data"

Big Data heeft 5 belangrijke kenmerken:

1. gigantisch grote hoeveelheid (Volume)

Big Data

Big Data is meer dan gewoon "veel data"

Big Data heeft 5 belangrijke kenmerken:

1. gigantisch grote hoeveelheid (Volume)
2. veel variatie in de data (Variation)

Big Data

Big Data is meer dan gewoon "veel data"

Big Data heeft 5 belangrijke kenmerken:

1. gigantisch grote hoeveelheid (Volume)
2. veel variatie in de data (Variation)
3. eist hoge snelheid (Velocity)

Big Data

Big Data is meer dan gewoon "veel data"

Big Data heeft 5 belangrijke kenmerken:

1. gigantisch grote hoeveelheid (Volume)
2. veel variatie in de data (Variation)
3. eist hoge snelheid (Velocity)
4. waardevol voor bedrijven en organisaties (Valuable)

Big Data

Big Data is meer dan gewoon "veel data"

Big Data heeft 5 belangrijke kenmerken:

1. gigantisch grote hoeveelheid (Volume)
2. veel variatie in de data (Variation)
3. eist hoge snelheid (Velocity)
4. waardevol voor bedrijven en organisaties (Valuable)
5. complexe data-analyse nodig (V... .... uhhh)

Big Data

Big Data is meer dan gewoon "veel data"

Big Data heeft 5 belangrijke kenmerken:

1. gigantisch grote hoeveelheid (Volume)
2. veel variatie in de data (Variation)
3. eist hoge snelheid (Velocity)
4. waardevol voor bedrijven en organisaties (Valuable)
5. complexe data-analyse nodig (Very complex analysis)

Big Data: grote hoeveelheid

• Big Data bestaat heeft zó veel data dat een gewoon 
   DBMS het niet aan kan
• Informatiedoelen zijn vooraf niet bekend, die kunnen
   ontstaan door nieuwe inzichten die voortvloeien uit
   de Big Data
• Er wordt zoveel mogelijk informatie verzameld... waar
   moet dan extra op worden gelet?

Waar staat DBMS voor?

1. Database Multi-Source
2. Database Management System
3. Data Backup Management System
4. 三三ᕕ( ᐛ )ᕗ (geen van allen)

Big Data: veel variatie

• Big Data wordt niet opgeslagen in één database, maar in
   meerdere databases, verspreid over verschillende
   plekken
  
• Big Data kan geheel of gedeeltelijk ongestructureerd zijn
   (daar moet het systeem ook mee om kunnen gaan)

Big Data: Hoge snelheidseis

Big Data moet zeer snel toegankelijk zijn , dit heeft verschillende oorzaken:

• Big Data is heel groot (big), hééééél groot zelfs
• en wordt ook steeds groter
• en de data is verspreid over meerdere databases
  

daarom moet de data heel snel kunnen worden verzameld, gecombineerd en geanalyseerd

Big Data: Waardevol

Big Data is waardevol voor bedrijven, omdat ze door verwerken ervan goede beslissingen kunnen maken of nieuwe inzichten kunnen krijgen, zoals bijvoorbeeld:

• veranderingen in de vraag naar een artikel
• veranderingen in de markt
• interesses van mensen voor gerichte advertenties
• enzovoorts
  

Big Data: Complexe data-analyse

• Big Data is data, dus nog geen informatie! De data moet 
   verwerkt (geanalyseerd) worden
  
  
• Voor analyse wordt specialistische software gebruikt
  
  
• Een data-analist is een specialist die dit werk doet, die
   stuurt de informatie aan en interpreteert de resultaten 

Wat is GEEN belangrijk kenmerk van Big Data?

1. grote hoeveelheid
2. complexe data analyse nodig
3. veel variatie in de data
4. ╭༼ ʘ̆~◞౪◟~ʘ̆ ༽╮ (als geen ander goed is)

Wat is GEEN belangrijk kenmerk van Big Data?

1. waardevol
2. hoge snelheid vereist
3. fysieke grootte van de data
4. ( ◉◞౪◟◉) (als geen ander goed is)

Wat zijn de 5 belangrijke
kenmerken van Big Data?

Leg in je eigen woorden uit
waarom hoge snelheid nodig is

Big Data: toepassingen

• Beschrijven: inzicht te krijgen in wat er gebeurt of 
   is gebeurd en waarom (bijv. marktonderzoeken)
• Adviseren: helpen bij het nemen van beslissingen
• Voorspellen: helpen bij logistiek en planning van extra
   mensen (zo weten supermarkten dat ze bij mooi weer
   ijsjes, extra bier en barbecue-artikelen op voorraad
   moeten hebben)

Big Data: uitdagingen 1/2

Big Data is verspreid over veel databases... dus deze informatie kan dubbel en/of tegenstrijdig zijn

Ook kan je over 1 bepaald onderdeel meer informatie hebben dan van het andere, waardoor de balans niet goed is

Zo zijn er nog meer uitdagingen te bedenken

Het systeem moet daar mee omgaan en kunnen bepalen welke informatie kan/moet worden gebruikt

Big Data: uitdagingen 2/2

De data-analyse is dus eigenlijk een van de belangrijkste onderdelen van Big Data...

want daar worden juist die beslissingen gemaakt

De data-analist is degene die dat inregelt en interpreteert

Een andere taak van een data-analist is datamining

Big Data: data-analist 1/2

De data-analist is degene die de data analyseert...

die configureert dus de software die het doet (met data-analyse-algoritmen) en interpreteert de uitkomsten

Met datamining wordt gezocht naar verbanden in data

Big Data: data-analist 2/2

Waarvoor moet worden opgepast bij datamining is dat correlatie niet verward mag worden met causaliteit

Zo kan er correlatie bestaan tussen het aantal ijsjes dat wordt verkocht en het aantal verdrinkingen in een stad in augustus...

                            Correlation does not prove causation...

Beschrijf welke uitdaging ontstaat
door veel databases bij Big Data

Beschrijf welke gevolgen
ontstaan door Big Data
(behalve privacy!)

Beschrijf wat een
data analist doet

Geef/zoek een EIGEN voorbeeld
waarom correlatie geen causaliteit is

Leerdoelen

Je kunt nu:

• beschrijven hoe het json dataformaat eruit ziet
• uitleggen wat Big data is en 5 kenmerken noemen
• omschrijven welke problemen met Big Data ontstaan
• vertellen wat een data-analist doet
• aangeven wat datamining is
• uitleggen dat correlatie geen causaliteit bewijst

Rode achtergrond betekent: klas is stil, dit zijn de leerdoelen en quizzes waarbij niet overlegd mag worden.

Doel van deze les is om het leren zichtbaar te maken voor zowel leerling als docent.

Exit ticket

https://forms.gle/7J97NiRs9nqWjk5V6