Detail publikace
Low Overhead Distributed IP Flow Records Collection and Analysis
Žádník Martin, Ing., Ph.D. (UPSY)
NetFlow, IPFIX, kolektor záznamů o IP tocích, distribuovaný systém, paralní výpočty, Hadoop, big data
Sběr a analýza záznamů o IP tocích jsou datově intenzivní úlohy, pro které výkon jednoho uzlu nemusí být dostatečný. Existuje několik řešení založených na frameworku Hadoop, ty jsou ale typicky vhodné pouze pro skutečně velká data, v opačném případě mohou převládat nevýhody tohoto frameworku. V této práci představujeme distribuovanou platformu, která má podstatně nižší režii, zaměřuje se na menší klastry, zachovává interaktivitu centralizovaného systému a současně využívá vlasnosti distribuovaného systému jako jsou vysoká dostupnost, paralelní zpracování, škálovatelnost nebo redundance. Experimenty ukázaly dobrou škálovatelnost při ukládání i dotazování. Rozšíření platformy pro zisk znalostí z dat a strojové učení jsou snadno začlenitelná a v tuto chvíli se na nich pracuje. Veškerý použitý software je volně dostupný.
@misc{BUT170109,
author="Jan {Wrona} and Martin {Žádník}",
title="Low Overhead Distributed IP Flow Records Collection and Analysis",
booktitle="SIGCOMM '17: Proceedings of the 2017 ACM SIGCOMM Conference",
year="2017",
pages="2",
address="Los Angeles",
note="abstract"
}