Detail publikace
Low Overhead Distributed IP Flow Records Collection and Analysis
NetFlow, IPFIX, kolektor záznamů o IP tocích, distribuovaný systém, paralelní výpočty, Hadoop, big data
Sběr a analýza záznamů o IP tocích jsou datově intenzivní úlohy, pro které výkon jednoho uzlu nemusí být dostatečný. Existuje několik řešení založených na frameworku Hadoop, ty jsou ale typicky vhodné pouze pro skutečně velká data, v opačném případě mohou převládat nevýhody tohoto frameworku. V této práci představujeme distribuovanou platformu, která má podstatně nižší režii, zaměřuje se na menší klastry, zachovává interaktivitu centralizovaného systému a současně využívá vlasnosti distribuovaného systému jako jsou vysoká dostupnost, paralelní zpracování, škálovatelnost nebo redundance. Experimenty ukázaly dobrou škálovatelnost při ukládání i dotazování. Rozšíření platformy pro zisk znalostí z dat a strojové učení jsou snadno začlenitelná a v tuto chvíli se na nich pracuje. Veškerý použitý software je volně dostupný.
@INPROCEEDINGS{FITPUB11536, author = "Jan Wrona and Martin \v{Z}\'{a}dn\'{i}k", title = "Low Overhead Distributed IP Flow Records Collection and Analysis", pages = "557--562", booktitle = "2019 IFIP/IEEE International Symposium on Integrated Network Management", year = 2019, location = "Washington DC, US", ISBN = "978-3-903176-15-7", language = "english", url = "https://www.fit.vut.cz/research/publication/11536" }