Проверяй в отладчике значения всех переменных, сравнивай с допустимыми. Например, для функций ArcCos и ArcSin значение аргумента должно быть от -1 до 1, если же аргумент за пределами этого диапазона, то это приводит как раз к "invalid floating point operation".