Например, есть всякие способы чтобы добавить svg иконку на сайт, типо тегом img и т.д., но иногда видел как просто копируют svg код иконки и вставляют.
Таким способом можно изменять например цвет иконки при наведении.
На часть вопроса ты уже сам ответил (на счет цвета). Теоретически сайт меньше нагружается, если svg прописан в коде, чем если он хранится в отдельном файле (меньше обращений к серверу). Но ты же не сотнями на одну страницу будешь загружать. Еще масса сюжетов, когда лучше svg хранить в файлах. Контроль, организация контента...
Зависит от конкретного SVG, если он оптимизирован и содержит минимум точек, а координаты точек более-менее округлены (а не по 9-10 знаков после запятой) - то такой SVG может занимать несколько десятков байт и хорошо жмётся gzip/brotli. Если иконок таких много - то тем более сильно ужмутся, т.к. общего в них гораздо больше, чем различий, с точки зрения кода.