Porównanie programów antywirusowych dla systemu Linux

Autor: Paweł Leśniak

Instytut Fizyki Molekularnej PAN, Poznań

Jak wiadomo wirusy rozprzestrzeniają się najszybciej przez pocztę elektroniczną. Najprostszą metodą obrony jest skanowanie całej poczty przychodzącej i wychodzącej programem antywirusowym na serwerze obsługującym pocztę. Niestety jako że nie ma rzeczy doskonałych, stałem przed wyborem który program antywirusowy będzie mi służył najlepiej. Oczywiście każdy producent zachwala swój produkt. Należy więc zastanowić się który produkt rzeczywiście działa dobrze.
Postanowiłem przetestować kilka dostępnych programów pod kątem wirusów wychwyconych na serwerze pocztowym w IFM przez program Clam Antivirus. Okazuje się że w różnych okresach bazy tego programu wyłapały mi kilka plików które w świeżej wersji bazy nie są rozpoznawane jako zawirusowane! Ale powoli...
Programy którymi się zająłem:
Przy wyborze testowanych programów oparłem się wyłącznie na trzech cechach:
  1. udało mi się znaleźć dany program antywirusowy;
  2. był w wersji dla Linuksa;
  3. była do pobrania wersja testowa/bezpłatna.
Do rzeczy: próba polegała na przeskanowaniu 12340 zawirusowanych wiadomości e-mail o łącznym rozmiarze 595.62 MB. Wirusy z okresu 13.09.2005 - 15.02.2006.Niektóre programy poradziły sobie dobrze, inne kiepsko. Jednakże należy zwrócić uwagę na fakt, iż część "wirusów" wykrytych przez Clam Antivirus nie jest typowymi wirusami czy trojanami, a np. stronami wykorzystującymi technikę "phishingu".
ProgramIlość wykrytych % wykrytychCzas (s) % czas w stosunku do najszybszego
Clam AV1232199.85184112
MKS984379.76595361
BitDefender917574.35500303
F-Prot1009381.79165100
Kaspersky1180695.67561340
H+BEDV1052185.26701425
Najwięcej wykrytych
Najszybszy
 
Lista poszczególnych typów wirusów (wg nazewnictwa Clam AV) wszystkie | różne między programami
Do pobrania plik CSV zawierający zestawienie wirusów
Komentarz: wyraźnie żaden program poza ClamAV nie kładzie nacisku na "wirusy" typu "phishing". Być może rzeczywiście tego typu e-maile powinny być odrzucane przez system anty-spamowy, jednakże miłą i przydatną rzeczą jest wykrywanie tego typu niebezpieczeństw o krok wcześniej - przy sprawdzaniu w poszukiwaniu wirusów.
Wystarczy jednak przymknąć oko na wszystkie znaleziska typu "HTML.Phishing" i okazuje się że różnice pomiędzy programami ClamAV, F-Prot, H+BEDV i Kaspersky są niewielkie (wszystkie wykryły powyżej 99% wirusów). Od stawki odstają znacząco tylko MKS (97%) i BitDefender (91%).
Patrząc na szybkość działania, dwa programy - F-Prot i ClamAV - wykazały się dużą szybkością. F-Prot skanował wiadomości ze średnią szybkością ok. 3.61 MB/sek., tj. 74.8 wiadomości na sekundę. Pozostałe programy wypadły znacznie gorzej, z czasem wykonywania od 3 do 4 razy dłużej.
 
Druga próba polegała na przeskanowaniu 37087 zawirusowanych wiadomości e-mail o łącznym rozmiarze 1016.96 MB. Wirusy z okresu 1.06.2005 - 13.09.2005.
ProgramIlość wykrytych % wykrytychCzas (s) % czas w stosunku do najszybszego
Clam AV3708499.99842169
MKS3518494.873066617
BitDefender3507094.561840370
F-Prot3524395.03497100
Kaspersky3584596.652283459
H+BEDV3526395.082144431
Najwięcej wykrytych
Najszybszy
 
Lista poszczególnych typów wirusów (wg nazewnictwa Clam AV) wszystkie | różne między programami
Do pobrania plik CSV zawierający zestawienie wirusów
Komentarz: wyraźnie żaden program poza ClamAV i tym razem nie poradził sobie z "wirusami" typu "phishing".
Wystarczy jednak ponownie przymknąć oko na wszystkie znaleziska typu "HTML.Phishing" i okazuje się że tym razem wszystkie programy wypadły znakomicie. Nieznacznie od stawki odbiegają ponownie MKS (99.8%) i BitDefender (99.5%) w stosunku do wyniku 99.98% pozostałych programów.
Patrząc na szybkość działania, ponownie dwa programy - F-Prot i ClamAV - wykazały się dużą szybkością. F-Prot skanował wiadomości ze średnią szybkością ok. 2.05 MB/sek., tj. 74.6 wiadomości na sekundę. Konkurencja ponownie potrzebowała więcej czasu - od 3.7 do 6! razy więcej.
 
Trzecia próba polegała na przeskanowaniu 50785 zawirusowanych wiadomości e-mail o łącznym rozmiarze 1.08 GB. Wirusy z okresu 1.05.2005 - 31.05.2005.
ProgramIlość wykrytych % wykrytychCzas (s) % czas w stosunku do najszybszego
Clam AV507851001077154
MKS5042399.294545651
BitDefender5039899.242683384
F-Prot5044499.33698100
Kaspersky5046699.373099444
H+BEDV5044999.342705388
Najwięcej wykrytych
Najszybszy
 
Lista poszczególnych typów wirusów (wg nazewnictwa Clam AV) wszystkie | różne między programami
Do pobrania plik CSV zawierający zestawienie wirusów
Komentarz: również w tym teście żaden program poza ClamAV nie kładzie nacisku na "wirusy" typu "phishing".
I ponownie przymykamy oko na wszystkie znaleziska typu "HTML.Phishing". Tym razem wynik jest zaskakująco pozytywny. Programy ClamAV, H+BEDV i Kaspersky są bezbłędne! Nieznacznie od stawki odstaje F-Prot (nie wykrył 3 wirusów na 50447. Troszkę gorzej wypadły ponownie MKS (27 na 50447) i BitDefender (49 na 50447), tym razem jednak procentowo jest to poniżej 0.1% nie wykrytych wirusów.
Patrząc na szybkość działania, ponownie górują dwa programy - F-Prot i ClamAV. F-Prot skanował wiadomości ze średnią szybkością ok. 0.022 MB/sek., tj. 72.8 wiadomości na sekundę.
 
 
Wyników trochę już jest. Można się więc pokusić o jakieś podsumowanie.
Jeśli chodzi o szybkość działania bezwględnie liderem jest program F-Prot. Sumując uzyskane czasy uzyskujemy informację, że przeskanowanie 100212 wiadomości zajęłoby ok. 1360 sekund.
  1. F-Prot - 1.00x
  2. ClamAV - 1.55x
  3. BitDefender - 3.69x
  4. H+BEDV - 4.08x
  5. Kaspersky - 4.37x
  6. MKS - 6.03x

Oczywiście szybkość nie jest tak znacząca jak skuteczność. Ogólna ocena skuteczności wykrywania wirusów:
  1. ClamAV - 99.978%
  2. Kaspersky - 97.909%
  3. H+BEDV - 96.029%
  4. F-Prot - 95.577%
  5. MKS - 95.248%
  6. BitDefender - 94.443%

Po pominięciu sprawdzania "phishingu" pozostały 95802 wiadomości testowe. Wykrywalność przedstawia się następująco:
  1. ClamAV - 99.977%
  2. Kaspersky - 99.976%
  3. H+BEDV - 99.966%
  4. F-Prot - 99.954%
  5. MKS - 99.570%
  6. BitDefender - 98.780%

Widać iż ClamAV i Kaspersky są niemalże bezbłędne. Pięć spośród sześciu testowanych programów ma błąd poniżej 0.5%. Jedynie program BitDefender pokazał się z nienajlepszej strony - błąd powyżej 1.2%.
Ocena autora: Każda ocena jest w mniejszym lub większym stopniu subiektywna. Nie ukrywam że staram się podać ocenę jak najbardziej obiektywną. Po przeprowadzonych testach ośmielam się uznać iż ClamAV jest programem najlepszym - ma najlepszą wykrywalność i nie jest dużo wolniejszy (jedynie o połowę) od najszybszego testowanego programu. Nie potrafię obiektywnie przyznać lokat od 2 do 4. Mogę jedynie powiedzieć że na lokatach tych na pewno znalazłaby się trójka programów, które wymienię w kolejności alfabetycznej. F-Prot, H+BEDV, Kaspersky. Piąta lokata należy się programowi MKS. Na szóste miejsce zdecydowanie zasłużył program BitDefender.
Podziękowania i żale (na pewno nie daremne) proszę kierować na adres e-mail autora: Pawel.Lesniak@ifmpan.poznan.pl. Jeżeli ocena jest nieobiektywna, lub autorzy/sprzedawcy danego programu uważają że test jest nieobiektywny - proszę o przesłanie wyjaśnienia dlaczego uzyskane wyniki są nieobiektywne i informacji czy treść e-mail'a może znaleźć się na tej stronie.
Czekam również na wskazówki jakie opcje programu pozwolą na uzyskanie lepszych wyników. Być może użycie konkretnych wersji baz czy konkretnych wersji programów może przyczynić się do polepszenia wyników - proszę również o takie informacje i oczywiście w miarę możliwości przesłanie wersji programu umożliwiającej mi nieodpłatnie wykonanie testu pod systemem Linux na posiadanych przeze mnie próbkach.
 
 
Ostatnia aktualizacja: 27.04.2006
Poprawka dat pochodzenia wirusów (dzięki "tomek"): 03.01.2007
Wszystkie testy wykonane przez autora tekstu na serwerze Instytutu Fizyki Molekularnej PAN.
Wszelkie prawa zastrzeżone. Jeżeli chcesz umieścić wyniki pracy autora w swojej publikacji - musisz uzyskać zgodę autora.