Detail publikace
Low Overhead Distributed IP Flow Records Collection and Analysis
Žádník Martin, Ing., Ph.D. (UPSY)
NetFlow, IPFIX, kolektor záznamů o IP tocích, distribuovaný systém, paralelní výpočty, Hadoop, big data
Sběr a analýza záznamů o IP tocích jsou datově intenzivní úlohy, pro které výkon jednoho uzlu nemusí být dostatečný. Existuje několik řešení založených na frameworku Hadoop, ty jsou ale typicky vhodné pouze pro skutečně velká data, v opačném případě mohou převládat nevýhody tohoto frameworku. V této práci představujeme distribuovanou platformu, která má podstatně nižší režii, zaměřuje se na menší klastry, zachovává interaktivitu centralizovaného systému a současně využívá vlasnosti distribuovaného systému jako jsou vysoká dostupnost, paralelní zpracování, škálovatelnost nebo redundance. Experimenty ukázaly dobrou škálovatelnost při ukládání i dotazování. Rozšíření platformy pro zisk znalostí z dat a strojové učení jsou snadno začlenitelná a v tuto chvíli se na nich pracuje. Veškerý použitý software je volně dostupný.
@inproceedings{BUT161793,
author="Jan {Wrona} and Martin {Žádník}",
title="Low Overhead Distributed IP Flow Records Collection and Analysis",
booktitle="2019 IFIP/IEEE International Symposium on Integrated Network Management",
year="2019",
pages="557--562",
address="Washington DC",
isbn="978-3-903176-15-7",
url="https://ieeexplore.ieee.org/document/8717873"
}