Пишешь видео через Fraps. Получаешь сырой файл. ( Без сжатия, ибо писать сразу с сжатием - у тебя комп ляжет, и артефакты пойдут). Качество - отличное, на размер громадный. И потом через VirtualDub сжимаешь в 2 прохода. (попутно можно вставить эффекты, озвучку, обрезать..) Сохраняется качество и получается нормальный размер.