а как тогда проект черный квадрат регулярно обновляется. значит где то в свободном доступе есть зоны ru и su
а гугль на что?
берете URL
http://www.google.com/search?q=*.ru&hl=ru&start=10отдате его, например wget'у в скрипте циклически, меняя выделенное с инкрементом в 10.
Гугль отдает всего 103 миллиона (всего-то! ) ссылок, т.е. после 10М итераций вы накопите хорошую базу для поиска. Удалите все повторы хостов и список поредеет (а если будете ложить в базу с ограничением на уникальность, то эта чистка пройдет практически автоматом).
Пройдетесь еще разок на предмет резолвинга имен в прямой зоне. Если резолвится, то оставляем, если нет - вычеркиваем...
И трансфер зоны вам не нужен!
ЗЫ. Надеюсь, гугль на вас не обидится!
ЗЗЫ. 103000000 ссылок * примерно 1КБ информации к каждой = тоже примерно, более 100 ГБ инфы...