>> в современном интернете скоро вообще ничего не будет работать без javascript и XHR
> А XHR у вас телепатически работает, без HTTP?

Вы о чем ? Wget не умеет JS... как он XHR-ить то будет ? я про него родимого, про wget, о том что в современном интернете он не есть полноценный паук

> И API для сторонних приложений тоже ожидаете использовать только в браузере?

Причем здесь API??? Сказали что wget - полноценный паук, а он не может быть таковым, т.к. не бум-бум по JS-совски

>> Более, менее полноценным пауком скорее всего можно назвать это: https://phantomjs.org/
> Он уже год как не развивается на фоне наличия встроенных headless-режимов в
> Chrome и Firefox.

Согласен, этих двух можно точно назвать лучшими пауками :)
но для них нужна тачка с десктопом, а phantomjs может взлететь на каком нибудь headless VPS где десктопом и не пахнет, хотя может что то в этом плане и поменялось, я не в курсе, давно не было нужды в таких задачках