Nie da się ukryć, że obecnie żyjemy w świecie danych. Posiadamy kilka lub nawet kilkanaście inteligentnych urządzeń w domach, a setki inteligentnych urządzeń funkcjonuje w naszym otoczeniu pełnym czujników i przełączników. Przez coraz szerszy zakres cyfryzacji - miliony danych są przetwarzane i wykorzystywane na wiele różnych sposobów.
Organizacje pracujące na ogromnej ilości danych tracą na tym, że duża ich część, w której są posiadaniu jest niedokładna, fałszywa albo zwyczajnie nieistotna. HoloClean ma być lekarstwem na wszystkie bolączki tego typu.

Czym są "DIRTY DATA" ?

„Dirty data” to swoisty chaos. Można je określić mianem szumu gromadzonego przez różnego rodzaju algorytmy. Cechuje je niedokładność, niekompletność bądź niespójność. Mogą zawierać błędy na poziomie ortografii czy interpunkcji, często są niekompletne, zduplikowane lub nieaktualne.

Kopalnią danych są serwisy społecznościowe takie jak np. Facebook. Dlatego jest tak chętnie wybieranym źródłem informacji potrzebnym firmom do analizy danych. Jednak opieranie swoich analiz i strategii marketingowych wyłącznie na informacjach zawartych na  portalach typu FB jest niekoniecznie dobrą decyzją, ponieważ ogromna część danych to „dirty data” - nie pochądząca nawet od realnych użytkowników, a generowana przez wynajętych przez konkurencję spamerów, boty czy konta, które już nie są aktywne. W związku z tym dane, które wyciąga się z serwisów społecznościowych mogą okazać się bezużyteczne, a nawet zgubne i pogrążające marketingowe kampanie.

CZY MOŻNA POZBYĆ SIĘ „DIRTY DATA” ?

Okazuje się, że HoloClean - opracowana przez naukowców z University of Waterloo, University of Wisconsin i Stanford University - jest pierwszą na świecie technologią opartą na sztucznej inteligencji, zaprojektowaną do rozpoznawania „dirty data” i poprawienia ich przed przekazaniem do przetwarzania.

DLA KOGO HOLOCLEAN ?

Naukowcy twierdzą, że HoloClean przyda się przede wszystkim organizacjom pracującym z ogromną ilością danych. Do takich organizacji na pewno należą banki, firmy sektoru publicznego czy agencje marketingowe. HoloClean ma być przeszkolony w znajdowaniu błędów i samodzielnym ich poprawianiu. I chociaż cały proces szkolenia AI będzie procesem bardzo czasochłonnym, to w ostatecznym rozrachunku HoloClean ma ułatwić i usprawnić pracę, ponieważ do dnia dzisiejszego nieprawidłowe dane muszą być identyfikowane i korygowane ręcznie. HoloClean ma sam poprawiać błędy danych lub wykluczać je zupełnie, jeżeli okażą się bezużyteczne.

Taka metoda pozwoliłaby użytkownikom na przeprowadzanie analiz na „czystszych", przefiltrowanych - przez co dokładniejszych - danych. Wyniki takiej analizy były by dużo bardziej precyzyjne i niezawodne.

Obsługa danych jest niezwykle ważna. Tylko dzięki czystym, wiarygodnym danym można liczyć na dokładne wyniki analiz, a co za tym idzie - trafne podejmowanie decyzji. Jest to jeden z systemów, który ma szansę dobrze sprawdzać się oddany w sprawne „ręce” sztucznej inteligencji, aby był tak samo szybki jak i dokładny.

Źródła:

www.wikipedia.com
http://www.holoclean.io/
https://hazyresearch.github.io