Το Moloch είναι ένα σύστημα που παρέχει εργαλεία για την οπτική αξιολόγηση των ροών κίνησης και αναζητήστε πληροφορίες που σχετίζονται με τη δραστηριότητα του δικτύου. Η εργασία δημιουργήθηκε το 2012 με στόχο τη δημιουργία μιας ανοικτής αντικατάστασης για μια πλατφόρμα συναλλαγών επεξεργασία πακέτων δικτύου που μπορεί να κλιμακωθεί στο επίπεδο των όγκων κυκλοφορίας AOL.
Η εισαγωγή του νέου συστήματος στην AOL τους επέτρεψε να επιτύχουν τον πλήρη έλεγχο της υποδομής με την ανάπτυξη τους στους διακομιστές τους και τη σημαντική μείωση του κόστους.
Η χρήση του Moloch για την πλήρη καταγραφή επισκεψιμότητας σε όλα τα δίκτυα AOL κοστίζει το ίδιο ποσό με τη χρήση μιας εμπορικής λύσης που είχε προηγουμένως δαπανηθεί για τη λήψη επισκεψιμότητας σε ένα μόνο δίκτυο. Το σύστημα μπορεί να κλιμακωθεί για να χειριστεί την κίνηση σε ταχύτητες δεκάδων gigabits ανά δευτερόλεπτο. Η ποσότητα των αποθηκευμένων δεδομένων περιορίζεται μόνο από το μέγεθος της διαθέσιμης συστοιχίας δίσκου. Τα μεταδεδομένα περιόδου σύνδεσης ευρετηριάζονται σε ένα σύμπλεγμα που βασίζεται στη μηχανή Elasticsearch.
Σχετικά με τον Moloch
Το Moloch περιλαμβάνει εργαλεία για την καταγραφή και την ευρετηρίαση της κυκλοφορίας σε μορφή PCAP φυσιολογικό, καθώς και για γρήγορη πρόσβαση σε ευρετήρια δεδομένων.
Για την ανάλυση των συσσωρευμένων πληροφοριών, προτείνεται μια διεπαφή ιστού που επιτρέπει την περιήγηση, την αναζήτηση και την εξαγωγή δειγμάτων. Επίσης Παρέχεται ένα API που σας επιτρέπει να μεταφέρετε δεδομένα σχετικά με τα πακέτα που συλλαμβάνονται σε μορφή PCAP και αναλυμένες συνεδρίες σε μορφή JSON σε εφαρμογές τρίτων. Η χρήση της μορφής PCAP απλοποιεί σημαντικά την ενσωμάτωση με υπάρχοντες αναλυτές επισκεψιμότητας όπως το Wireshark.
Η πρόσβαση στο Moloch προστατεύεται με χρήση HTTPS με ισχυρούς κωδικούς πρόσβασης ή χρησιμοποιώντας έναν διακομιστή μεσολάβησης ελέγχου ταυτότητας που παρέχεται από τον διακομιστή ιστού. Όλα τα PCAP αποθηκεύονται στους αισθητήρες και έχουν πρόσβαση μόνο μέσω της διεπαφής Moloch ή του API. Το Moloch δεν προορίζεται να αντικαταστήσει ένα IDS, αλλά λειτουργεί μαζί τους για να αποθηκεύσει και να ευρετηριάσει όλη την κίνηση του δικτύου σε τυπική μορφή PCAP, παρέχοντας γρήγορη πρόσβαση.
Μολόχ Αποτελείται από τρία βασικά συστατικά:
- Σύστημα σύλληψης κυκλοφορίας: μια εφαρμογή πολλαπλών νημάτων Γ για την παρακολούθηση της κυκλοφορίας, την εγγραφή απορρίψεων PCAP στο δίσκο, την ανάλυση πακέτων που έχουν ληφθεί και την αποστολή μεταδεδομένων σχετικά με τις περιόδους σύνδεσης (SPI, stateful packet επιθεώρηση) και πρωτόκολλα στο σύμπλεγμα Elasticsearch. Τα αρχεία PCAP μπορούν να αποθηκευτούν σε κρυπτογραφημένη μορφή.
- Μια διεπαφή Ιστού βασισμένη στην πλατφόρμα Node.js, που εκτελείται σε κάθε διακομιστή δέσμευσης επισκεψιμότητας και επεξεργάζεται αιτήματα που σχετίζονται με την πρόσβαση σε δεδομένα ευρετηρίου και τη μεταφορά αρχείων PCAP μέσω του αποθετηρίου μεταδεδομένων και API του Elasticsearch.
- Η διεπαφή Ιστού παρέχει διάφορους τρόπους προβολήςαπό γενικά στατιστικά στοιχεία, χάρτες σύνδεσης και οπτικά γραφήματα με δεδομένα σχετικά με αλλαγές στη δραστηριότητα δικτύου σε εργαλεία για τη μελέτη μεμονωμένων περιόδων σύνδεσης, ανάλυση δραστηριότητας με πρωτόκολλο και ανάλυση δεδομένων από απορρίψεις PCAP.
Ο κώδικας είναι γραμμένος σε γλώσσα C (Node.js / JavaScript interface) και διανέμεται με την άδεια Apache 2.0. Υποστηρίζεται η εργασία σε Linux και το FreeBSD. Τα έτοιμα προς χρήση πακέτα προετοιμάζονται για διαφορετικές εκδόσεις του CentOS και του Ubuntu.
Πώς να εγκαταστήσετε το Moloch σε Linux;
Από προεπιλογή, προσφέρονται πακέτα κατασκευασμένα για Ubuntu και CentOS, τα οποία μπορούμε να λάβουμε από τον επίσημο ιστότοπο του έργου.
Στην περίπτωση εκείνων που χρησιμοποιούν το Ubuntu, μπορούν να λάβουν το πακέτο πληκτρολογώντας οποιαδήποτε από τις ακόλουθες εντολές.
Για το Ubuntu 16.04 LTS:
wget https://s3.amazonaws.com/files.molo.ch/builds/ubuntu-16.04/moloch_2.3.0-1_amd64.deb
Για το Ubuntu 18.04 LTS:
wget https://s3.amazonaws.com/files.molo.ch/builds/ubuntu-18.04/moloch_2.3.0-1_amd64.deb
Για εγκατάσταση, απλώς πληκτρολογήστε:
sudo apt install ./moloch*.deb
Στην περίπτωση εκείνων που είναι χρήστες του CentOS, τα διαθέσιμα πακέτα μπορούν να ληφθούν πληκτρολογώντας.
6 CentOS
wget https://s3.amazonaws.com/files.molo.ch/builds/centos-6/moloch-2.3.0-1.x86_64.rpm
7 CentOS
wget https://s3.amazonaws.com/files.molo.ch/builds/centos-7/moloch-2.3.0-1.x86_64.rpm
8 CentOS
wget https://s3.amazonaws.com/files.molo.ch/builds/centos-8/moloch-2.3.0-1.x86_64.rpm
Για εγκατάσταση, απλώς πληκτρολογήστε:
sudo rpm install moloch*.rpm
Για την περίπτωση άλλων διανομών Η συλλογή μπορεί να γίνει πληκτρολογώντας:
git clone https://github.com/aol/moloch ./easybutton-build.sh --install make config
Τέλος, για τη διαμόρφωση, μπορείτε να συμβουλευτείτε το wiki από τον παρακάτω σύνδεσμο.