В том, что тег <button></button> имеет намного больше возможностей по оформлению кнопки, чем тег <input type="button" />. В тег button можно вставить произвольный html-код, тогда как тег input не имеет содержимого и позволяет задать только текст на кнопке.