Big Data Counting : Hoe kunnen we een zeer groot aantal distincte objecten efficiënt tellen?

Abstract

Een thesis waarin we bestuderen hoe we het aantal unieke items in een stream efficiënt kunnen tellen. We bekijken eerst voorkennis in verband met hashing, streaming en kanstheorie. Daarna gaan we over op het bestuderen van makkelijkere algoritmes die bv. frequenties in een stream schatten. Zodra we genoeg basiskennis hebben verworven, gaan we over de complexere distinct-count algoritmes. Uiteindelijk implementeren we twee van de distinct count algoritmes die we gebruiken om empirisch te kunnen evalueren gegeven een dataset van het bedrijf Selligent.