Gefällt mir Gefällt mir:  0
Seite 1 von 2 12 LetzteLetzte
Ergebnis 1 bis 10 von 11

Thema: Neues Spielzeug im Avast Research Lab

  1. #1
    AVADAS GmbH
    Registriert seit
    Sep 2007
    Beiträge
    16.914
    Danke / Gefällt mir

    Neues Spielzeug im Avast Research Lab

    Hallo,

    hier ein Artikel von Werner Mayr zu neuer Hardware und neuen Analysemethoden im avast! Virenlabor:

    Im Avast Research Lab sind einige unserer hellsten Köpfe damit beschäftigt, neue Wege der Erkennung von Malware zu erforschen. Es geht dabei einerseits Funktionen unserer Anwendungen (z. B. FileRep und Autosandboxing, einschließlich aller neuesten Entwicklungen) sowie um Prozesse, die auf unseren Backend-Servern laufen – also Dingen, die der Nutzer zwar nicht unbedingt sieht, die aber genauso wichtig sind für die hohe Qualität unserer Produkte.

    Tatsächlich beansprucht die Arbeit am Backend immer mehr Zeit, weil immer mehr Logik und AVAST Technologie in die Cloud wandert und/oder in Echtzeit über avast! Streaming Update zu unseren Kunden geliefert wird.
    Die Avast Backend Virus Engine arbeitet mit einer ganzen Reihe verschiedener Techniken. Die meisten Ressourcen werden momentan auf Malware Similarity Search und Evo-Gen verwendet.

    Malware Similarity Search ist ein wichtiges Werkzeug mit dem wir im Handumdrehen große Mengen eingehender Proben analysieren können. Das heißt, dass wir für jede einzelne Datei in der Lage sind zu sagen, ob die Datei einer bekannten Malware-Datei (oder einer Familie von Malware-Dateien) ähnlich ist bzw. ob sie umgekehrt, bekannten sauberen Dateien (oder Cluster von diesen) ähnlich ist. Das klingt recht einfach, ist in der Praxis aber eigentlich ziemlich schwierig. Die Zauberformel ist hier die Definition der Metrik (ab wann spricht man über Ähnlichkeiten) und die Frage, was wird bei der Repräsentation einer Datei berücksichtigt. Bei Avast berücksichtigen wir sowohl statische Eigenschaften der Datei, wie auch das Ergebnis einer dynamischen Analyse (das sind im Grunde die Protokolle, die während der Ausführung einer Datei mitgeloggt werden).

    Diese Technologie ist für uns sehr wertvoll, weil wir damit schnell ein Urteil über bisher unbekannte Dateien fällen können. Wenn zum Beispiel eine Datei einem Cluster bekannter Malware-Samples ähnlich ist, und gleichzeitig keine Ähnlichkeiten mit bekannten, sauberen Dateien hat, kategorisieren wir sie sofort als Malware. Ob Sie es glauben oder nicht, wir sehen täglich Tausende solcher Dateien.

    Die zweite Technologie, die ich erwähnt habe, Evo-Gen, ist ähnlich, aber ein bisschen subtilerer Natur. Es geht darum, möglichst kurze und einfache Beschreibungen großer Mengen von Malware-Samples zu definieren. Nehmen wir zum Beispiel einen Satz von 1.000.000 Malware-Samples (und 1.000.000 sauberen Dateien) und geben dem Algorithmus die folgende Aufgabe: Finde so wenig und kurze Beschreibungen von so vielen Malwareproben wie möglich, ohne dabei eine beliebige Datei aus dem sauberen Sample zu beschreiben. Evo-Gen ist ein generischer Algorithmus den wir genau zu diesem Zweck entwickelt haben. Oft finden wir dabei richtige Schätze – zB eine Beschreibung die zehntausende von Malware-Dateien erfasst, die weit verstreut aus verschiedenen Malwarekategorien stammen. Wie groß ist die Beschreibung? 8 Byte.

    Wenn man einen Moment über diese beiden Algorithmen nachdenkt erkennt man schnell ihre Gemeinsamkeiten: Beide benötigen super schnellen Zugriff auf große Mengen sauberer- und infizierter Dateien. Die Arbeit mit Speichermedien, die mit sequentiellem Zugriff arbeiten (also die Verarbeitung von Dateien nacheinander), kann man vergessen. Alleine das Lesen der Proben von einer Festplatte dauert Stunden.

    Zu diesem Zweck hat das Team einen weiteren großen Wurf gelandet, den wir MDE nennen. MDE ist im Grunde eine In-Memory-Datenbank, die auf Basis indizierter Daten funktioniert und schnellen, parallelen Zugriff ermöglicht.
    Traditionell betreiben wir diese Dinge auf klassischer Server-Hardware. Im überwiegenden Teil nutzen wir Standard-Dell-Server mit Intel Xeon CPUs. Leider war die Leistung nie wirklich toll und wir dachten oft über bessere Lösungen nach.

    Klicke auf die Grafik für eine größere Ansicht 

Name:	avast_rack.jpg 
Hits:	184 
Größe:	72,0 KB 
ID:	1286

    Ein wirklicher Durchbruch gelang uns, als wir mit GPUs zu experimentieren begannen. Die Möglichkeiten moderner GPUs (beide, von NVidia und AMD) sind nicht auf High-End-Grafik oder Gaming begrenzt. Das Tolle für uns ist dabei, dass sie im großen Stil parallelisiert werden können. Während heutige High-End-Intel CPUs 6, 8 oder vielleicht 10 Kerne enthalten, sind in High-End-Gaming-GPUs Tausende von Kernen enthalten. Zwar ist jeder Einzelne von ihnen nicht so mächtig, wenn man ihr Potenzial aber mit einigen guten parallelisierungs Algorithmen entfesselt, ist das Resultat wirklich beeindruckend.

    Unter Einsatz von MDE sind wir nun dabei eine GPU-basierte “Supercomputing” Farm zu errichten. Die Umgebung, mit der wir momentan arbeiten, sieht so aus:

    Klicke auf die Grafik für eine größere Ansicht 

Name:	avast_tower.jpg 
Hits:	194 
Größe:	88,6 KB 
ID:	1287

    Man sieht gleich, dass es kein Rackmount-Server ist – sondern eine Workstation. Ein richtiges Biest! Die Intel i7 E3820 4C 3.6GHz CPU mit 32 GB DDR3 RAM, ist kein schlechter Anfang, aber das wirklich coole sind die 4 NVidia GPU-basierten Grafikkarten mit je 3 GB RAM, miteinander verbunden durch einen Schlauch für die externe Wasserkühlung. Das Ganze wird von einem 1.500-W-Netzteil mit Strom versorgt. Falls das nicht reicht, haben wir schon ein weiteres auf Lager.

    Wir verwenden das System noch nicht im produktiv Betrieb, werden es aber wahrscheinlich bald tun. Ich freu mich wirklich schon drauf – schließlich können wir Ihnen, unseren Kunden, damit noch bessere Produkte und Updates liefern. Man kann nie wissen – wenn sich das System so nützlich erweist wie wir erwarten, bauen wir vielleicht mal so was wie den Titan
    (ab jetzt gehört es wohl zu meinen Aufgaben die Gamer vom Server-Raum fern zu halten )

    - Werner Mayr
    Aktuelles Avast Release: Version Avast 18.7.2354 verfügbar!

  2. #2
    Senior Mitglied
    Registriert seit
    May 2011
    Beiträge
    226
    Danke / Gefällt mir
    Jeder der schonmal an einem server gearbeitet hat, ist beeindruckt wie schnell plötzlich manche dinge gehen, die davor einem nicht einmal aufgefallen sind wie langsam sie eigentlich waren

    Aber eine Frage von technik freaks an unser bestes team
    wieviel arbeitsspiecher benötigt ihr, damit so ein monstrum an Malewaresamples in den arbeitsspeicher geladen werden kann, die berechnungen von statten gehen können (was ja bestimmt viele gb beanspruchen wird) und dann auch noch eure analysewerkzeuge im arbeitsspeicher liegen können?

  3. #3
    AVADAS GmbH
    Registriert seit
    Sep 2007
    Beiträge
    16.914
    Danke / Gefällt mir
    Hallo,

    der Arbeitsspeicher der Neuentwicklung ist ja im Artikel angeben (32GB RAM). Die Analyse von verdächtigen Dateien und ihres Verhaltens findet aber komplett auf dem Rechner der Anwender statt. Zu diesem Zweck wird eine Datei in der AutoSandbox ausgeführt und ihr Verhalten dabei analysiert. Die Auswertung des Logs, welches dabei erzeugt wird, findet dann wiederum auf den Backend Systemen bei AVAST statt und hilft damit eine Probe zu klassifizieren, über die oben beschriebenen Verfahrensweisen.
    Aktuelles Avast Release: Version Avast 18.7.2354 verfügbar!

  4. #4
    Senior Mitglied
    Registriert seit
    May 2011
    Ort
    Berlin
    Beiträge
    299
    Danke / Gefällt mir

    Evo-Gen

    Hi!
    Habe eine .txt Datei gezippt als exe, passwortgesichert und mit der "Dateinamen verschlüsseln" Option. In der txt Datei sind ein paar Links und bisl Text, also nix besonderes.

    Doch beim öffnen der zip kam noch vor der Passworteingabe die Meldung "Evo-Gen..."

    Vlt sollte man dieses Verhalten den Entwicklern melden?

  5. #5
    Power Mitglied
    Registriert seit
    Feb 2013
    Ort
    Siegerland
    Beiträge
    1.353
    Danke / Gefällt mir
    Vielleicht ist daran irgendwas besonderes das einer Malware ähnlich ist die Avast mit Evo-Gen.
    Eine so gezippte Datei ist ja nicht unbedingt so geläufig.
    Warte mal auf einen Moderator (Adama) der wird mehr wissen.

  6. Danke Merlin hat sich für diesen Beitrag bedankt
  7. #6
    Senior Mitglied
    Registriert seit
    May 2011
    Ort
    Berlin
    Beiträge
    299
    Danke / Gefällt mir
    Naja früher hat die autosandbox bei pw-gesicherten zips gemeckert...jetzt ist es die heuristik

  8. #7
    Power Mitglied
    Registriert seit
    Feb 2013
    Ort
    Siegerland
    Beiträge
    1.353
    Danke / Gefällt mir
    Evo-Gen ist in dem Sinne keine Heuristik, sondern ein cloud basierter Schutz der noch unbekannte Bedrohungen erkennen soll.
    Hier ein Ausschnitt aus der Avast 8 Release Pressemitteilung:


    • Das neue Analyse-System „Evo-Gen“ erlaubt unserem Virenlabor das Erzeugen von komplett generischen Erkennungen ganzer Malware-Familien. Ausgefeilte statistische Methoden ermöglichen es „Evo-Gen“ gemeinsame Merkmale innerhalb einer großen Anzahl von bekannten Malware-Samples zu finden, die für sich genommen ansonsten einzigartig sind.


    “ Evo-Gen hilft uns dabei, wesentlich effizientere Virendefinitionen zu erstellen, die oft gegen ganze Gruppen von Malware schützen können ", sagte Ondrej Vlcek, CTO von AVAST „dies schließt unbekannte ‘Zero-Day‘ Malware ein und dies ohne das Risiko von Fehlalarmen.“

    Und im Forum eine Erklärung:
    http://forum.avadas.de/threads/5221-...t-Research-Lab

    Es geht einfach darum mit einer Signatur möglichst viele Dateien zu erkennen die von den Normalen Signaturen in der Datenbank nicht erkannt werden.

    Hier gibt es einige Tests mit nicht erkannten Malware Samples:
    https://www.youtube.com/user/spywaro.../videos?view=0

  9. #8
    Senior Mitglied
    Registriert seit
    May 2011
    Ort
    Berlin
    Beiträge
    299
    Danke / Gefällt mir
    Danke sehr, das ist mir bekannt

    Aber da bei mir jenes
    "und dies ohne das Risiko von Fehlalarmen" passiert ist, wollte ich es hier kundtun... Ob das jetzt jmd weiterhilft sei dahingestellt.

  10. #9
    AVADAS GmbH
    Registriert seit
    Sep 2007
    Beiträge
    16.914
    Danke / Gefällt mir
    Hallo,

    ich vermute auch, dass eine Zeichenkette innerhalb der Datei zufällig auf ein Malware-Muster passt und dadurch der Schutz anspringt. Vielleicht ist der vom ZIP Programm dafür verwendete Algorithmus auch nicht der optimalste, um diese Aktion durchzuführen.

    Ich hab die Beiträge mal in das Thema mit dem Artikel zu Evo-Gen verschoben.
    Aktuelles Avast Release: Version Avast 18.7.2354 verfügbar!

  11. #10
    Senior Mitglied
    Registriert seit
    May 2011
    Ort
    Berlin
    Beiträge
    299
    Danke / Gefällt mir
    Zitat Zitat von Steven Winderlich Beitrag anzeigen
    Evo-Gen ist in dem Sinne keine Heuristik, sondern ein cloud basierter Schutz der noch unbekannte Bedrohungen erkennen soll.
    Nun ja, das ist ja im Grunde trotzdem eine Heuristik. Unbekannte Malware soll anhand ihrer charakteristik erkannt werden. So wird die Funktionsweise von Heuristik beschrieben, oder nicht?
    Wie auch immer, ich werde diese Zip (übrigens mit dem aktuellstesten Winrar gezippt) mal an Avast schicken.
    Davor werde ich aber mal schauen, ob Avast auch anschlägt, wenn ich andere Links/Wörter in der txt stehen habe.

Ähnliche Themen

  1. Neues my.avast.com Portal
    Von Merlin im Forum Avast Komponenten
    Antworten: 17
    Letzter Beitrag: 18.03.16, 11:43
  2. Sammelthread Frohes neues!!!
    Von Steven Winderlich im Forum Smalltalk
    Antworten: 4
    Letzter Beitrag: 01.01.15, 23:05
  3. Gelöst Avast 2014 Problem immer neues Tab im Firefox
    Von Zorniger im Forum Avast 2014
    Antworten: 9
    Letzter Beitrag: 09.04.14, 12:25
  4. Geschlossen Neues avast! EasyPass Konto anlegen
    Von Federkathy im Forum Avast Passwörter
    Antworten: 9
    Letzter Beitrag: 02.04.14, 16:04
  5. Gelöst Neues avast! 8 läuft nicht auf Vista 64-bit
    Von JPS1978 im Forum Avast 8.x
    Antworten: 12
    Letzter Beitrag: 02.04.13, 10:57

Lesezeichen

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •