Big data in de praktijk: text analytics

Tijdens deze training gaat u aan de slag met text analytics: Big Data in de praktijk ... "Big data" heeft namelijk alles te maken met "analytics": grote hoeveelheden data analyseren om er "business intelligence", dus informatie uit te halen. Bij "data" denken we meestal aan getallen en tabellen, en de statistische analyses daarvan. Maar veel kennis valt te halen uit tekstuele data: gewone berichten, door mensen neergeschreven, al dan niet in volzinnen: b.v. e-mails, sollicitatiebrieven, Twitter- en Facebook-berichten, krantenartikelen, websites, noem maar op. De geëxtraheerde informatie kan dan gebruikt worden voor b.v. een "simpele" toepassing zoals het vinden van tekstfragmenten, gesorteerd op relevantie, op basis van een zoekterm. Een soort "Google Search" dus. Of een toepassing als sentiment-analyse.

Tijdens deze cursus worden eerst de belangrijkste concepten en terminologie aangebracht die bij tekstanalyse en "text mining" van belang zijn, zoals tokens, normalisatie, lemmatisatie, part-of-speech, taalmodellen, tekstclassificatie, ... Al snel blijkt dan dat geautomatiseerde tekstanalyse veel minder eenvoudig is dan het misschien lijkt: aspecten als taal, grammatica, spellingsfouten, synoniemen, negaties, woordvolgorde, leestekens ... maken de analyse complex. Tekst is namelijk in de eerste plaats bedoeld als communicatiemiddel tussen mensen, niet om door computers begrepen te worden! Zelfs de "simpele" Google Search-toepassing blijkt een hele "machine learning"-uitdaging.

Ondertussen zijn er verschillende software-pakketten en libraries ontwikkeld die de technische onderbouw van "natural language processing" (NLP) voor hun rekening nemen. We gaan tijdens de cursus praktisch aan de slag met enkele van deze pakketten zoals de NLTK toolkit, Apache OpenNLP en Standford's NLP Suite. Hierbij komt ook het gebruik van reguliere expressies aan bod.

Na afloop van deze cursus hebt u voldoende basis-expertise opgebouwd om een specifieke toepassing op te zetten die gebruik maakt van een NLP-library en die een text mining-applicatie implementeert.