Почему же нужен отдельный модуль управления индексацией?

Потому что базовый функционал Sitemap не решает многих задач опытных seo-специалистов. Поисковая оптимизация - это динамичный сегмент, а базовый модуль не обновлялся очень давно.

Базовый модуль невозможно гибко настроить, чтобы соответствовать всем нюансам требований современных специалистов по поисковому продвижению сайтов.

И вот перечень основных проблем:

• Нет возможности указать changefreq и priority для адресов в sitemap ни в каком виде;
• Нет тонкой настройки фильтров для выгрузки элементов инфоблоков. Нельзя указать какие элементы не нужны в sitemap;
• Нет выгрузки картинок в специальный sitemap-файл;
• Нет возможности настроить автоматическую перегенерацию sitemap, только руками генерировать при каждой необходимости;
• При большом количестве товаров на сайте, изменение/добавление каждого товара происходит с задержкой, т.к. каждый раз Битрикс просматривает файлы sitemap для его актуализации;
• Нельзя управлять количеством адресов (есть ограничения) и размером sitemap-файлов;
• Нельзя добавлять произвольные адреса в sitemap;
• При установленном модуле "SЕО умного фильтра" от Сотбит, генерация sitemap модуля "Поисковая оптимизация" перезатирает добавленные файлы от "SЕО умного фильтра".

Все эти проблемы могут решить Расширенный SEO-модуль: управление индексацией сайта и Расширенная SEO карта сайта Smart Sitemap: автогенерация, легкое управление и настройка