Tool for Distributed Extraction of Timestamped Events from Files

soubory, události, časové značky, extrakce, distribuovaný systém

Nástroj pro distribuovanou extrakci časových razítek z různých souborů pomocí extraktorů z projektu Plaso a běhového prostředí infrastruktury Apache Spark. Soubory, které se mají extrahovat, se nahrávají do distribuovaného systému souborů HDFS, a proces extrakce je poté řízen webovou službou prostřednictvím rozhraní REST API. Tento nástroj je schopen efektivně využívat velké distribuované clustery. Jedná se o software primárně napsaný v jazyce Python (s pomocným kódem v jazyce Java) využívající knihovny Apache Spark a upravující extraktory z produktu Plaso pro distribuovanou platformu Apache Spark. Správu dat pro extrakci a vlastní proces extrakce řídí webová služba s REST rozhraním. Projekt obsahuje také sadu shell skriptů a připojených Docker obrazů pro ukázkové nasazení.

https://github.com/nesfit/pyspark-plaso

Copyright 2019 Marek Rychly (rychly@fit.vutbr.cz) a Radek Burget (burgetr@fit.vutbr.cz)

Licencováno na základě licence Apache, verze 2.0 (dále jen licence"); tyto soubory nesmíte používat, pokud nejsou v souladu s licencí. Kopii licence můžete získat na adrese

http://www.apache.org/licenses/LICENSE-2.0

Není-li to vyžadováno příslušným zákonem nebo písemně dohodnuto, software šířený na základě licence je distribuován na ZÁKLADĚ JAK JE", BEZ ZÁRUK NEBO PODMÍNEK JAKÝCHKOLI DRUHŮ, ať výslovných nebo předpokládaných. Podrobný text upravující oprávnění a omezení v licenci naleznete v odkazovaném plném znění licence.