сначала смотрит хеш - и по базе проверят есть ли такойже
потом - открывает в "hex редакторе" - и смотрит там на подозрительные куски
ну это в упрощенном виде - конечно антивирусы на месте не стоят - и совершенствуют алгоритмы - я думаю если специалиста спросить - он тебе спокойно пару часов может рассказывать - как именно файлы проверяются.