Необходимо, что бы он был виден во внехи
Как это сделать зав счёт конфигурирования я не знаю, но можно перекрыть контент программным способом. Например, использовать куки для идентификации браузера, так что напрямую можно будет только первую страничку скачать, а остальные - только при наличии уже выставленных куков. Можно и первую так заблокировать: поставить в неё проверку куков вначале, если куков нет - ставит куки и возвращает редирект на себя же. Браузер проглотит, а поисковик заткнётся. Одна проблема: никто твой сайт не найдёт .
О, есть ещё вариант, почему поисковики постоянно всё выкачивают: дату протухания выставь на контент - по идее не должны до этой даты ломиться. Можно динамически её генерировать, скажем, на месяц вперёд. Это если контент достаточно статичный.
