Так вроде на ютубе ограничение на размер файла 120 или 128 ГБ, нет? Попробуйте конвертировать Avidemux в H.264 с параметрами constant rate factor = 0 и preset = slow, это должно уменьшить его без потерь качества (но не сильно и довольно долго). Сильно уменьшать нежелательно, это лишняя потеря качества после транскода. Если очень надо сжать, можете выставить желаемый размер файла, но качество пострадает.