2.0/(a+b) и Math.sqrt(1.0*a*c*p*(p-b))// здесь у вас не исходная формула и должно заработать Смысл - действия должны быть не с целыми, а с вещественными.
1. Заменить ВСЕ int на double - с заменой всех же nextInt на функцию ввода вещественного числа. 2. Убрать Math.pow. 3. Скобку ) после p переставить в конец выражения - перед точкой с запятой. 4. Подсчитать общее кол-во ( и ) и добавить / удалить круглые скобки - чтобы кол-во ( совпадало с кол-вом ).