Потому что 0.1 это 1/10, а 10 нельзя домножить на целое число, чтобы получилась степень двойки. В то время, как можно домножить, чтобы получилась степень десятки.
Точно также, в десятичной системе счисления ты не сможешь 1/3 записать конечным числом символов в виде десятичной дроби (тройка будет повторяться бесконечно), а вот в троичной системе счисления легко можешь.