website mirroring, снова

[wizzard]

говно этот ваш wget, товарищи.

он, конечно, качает, но:

* далеко не всё (-r –p –l inf и прочие опции делают вид что работают, проблема в другом)
* это самое “не всё” выбирается по откровенно непонятному мне признаку. на странице 10 ссылок, из них зафолловлены 1,2, 5, 7 и 10. как это, интересно, называется?

перезапускал, он каждый раз чтото докачивает еще, фолловит еще небольшое подмножество линков, радостно говорит Completed и останавливается.

причем, ладно медиавики, оно даже сайт из тупых статичных штмлей правильно стащить не может! в пределах одной сессии! ничтожных 100к страниц! я в печали. пойду тыкать другие софтинки.

Comments

[metaclass.livejournal.com]

Странненько. Нутром чую - ненавидят сайты wget, пропиши может user-agent поддельный ему от мозилы какой?

[wizzard]

А вот, кстати, что он делает с длинными урлами? А то там явно поболе 260 символов будет.

[nicka-startcev.livejournal.com]

А у вас таки fs кривая, что в 8бит упирается? :)

[wizzard]

Да уже 12 лет как не упирается, но некоторые stdlib'ы до сих пор в 260 символов верят.

[nicka-startcev.livejournal.com]

Какой еще stdlib? msvcrt.dll в смысле?

[metaclass.livejournal.com]

Кстати, ссылки в пределах сайта или за его пределы?

[wizzard]

В пределах.

[sashman.livejournal.com]

под венду он пытается создавать иллегальные имена файлов и обламывается.

когда-то было. может уже пофиксили.

[wizzard]

он, вроде, урленкодит. вот что у него с MAXPATH - не знаю.

[wizzard]

а вот мулк да, иллегальные.

[dmitri-pavlov.livejournal.com]

>причем, ладно медиавики, оно даже сайт из тупых статичных штмлей правильно стащить не может! в пределах одной сессии!

Это что-то малоправдоподобное.
А можно дать пример сайта, где возникают проблемы, с указанием ссылки, которые должна была бы скачаться,
но не скачивается?

[wizzard]

techlibrary.ru

[metaclass.livejournal.com]

На данный момент иностранный трафик у этого файла превышает Российский.
Вы можете получить этот файл только если посетите сайт наших
рекламодателей помогающих оплачивать наши сервера и каналы.

Неудивительно. Сайт с извращениями, там может быть все что угодно, вплоть до защиты от активных качальщиков.

[wizzard]

Засада, да. Вчера не было такого. Гребаная Агава.

[109.livejournal.com]

я-то хотел порекомендовать старый добрый teleport в предыдущем посте, но все так яростно впаривали wget, что я застеснялся.

[wizzard]

поставил пока WinHTTrack, пробую.

[thedeemon.livejournal.com]

Кстати да, +1 к Teleport Pro.

[faceted-jacinth.livejournal.com]

Так у него же вроде последняя версия была от 2001 года и он как бы немножко уже не того?

[109.livejournal.com]

ничего не знаю про не того. с другой стороны, я его давно уже не использовал.

[faceted-jacinth.livejournal.com]

Напиши свою выкачивалку на Питоне, например.

Могу дать свой файлик на стописят строк которым я вытаскивал svn репозитории через вебморду со скуки, пока одмин тупил и не мог мне права выдать. Его, натурально, придётся допиливать, но хотя бы эти 150 строк ты сможешь не писать сам! О, а ещё я с его же помощью тянул музычку когда wget обламывался с именами кириллицей, так что он даже довольно няшно структурирован в результате.

Кстати, подумал о том, что надо бы потребовать у тебя его взад с модификациями -- так может уже есть множество написанного где-то в гитхабах и битбакетах? Типа, нечто, изначально рассчитанное на программистов и только на них, поэтому на первый взгляд не заметное!