Отличие списка игнорируемых доменов от черного списка заключается в том, что ссылки из черного списка не добавляются в очередь обработки, в то время как ссылки из списка игнорируемых доменов будут добавляться в очередь обработки, но не будут при этом загружаться автоматически.

В дальнейшем вы сами сможете принять решение и обработать только те ссылки, которые вам нужны.

В основном используется при ограничении списка обрабатываемых документов на домен и обработкой фильтра ключевых слов, для определения потенциальных дорвеев или когда требуется остановить сканирование по этому домену, если искомый результат уже найден.