Jsoup не удается спарсить сайт

 
 
 
Сообщения:2
Всем доброго времени суток. Я изучаю Jsoup и хочу спарсить страничку сайта, и затем получить с нее ссылки на объявления:

https://auto.ru/sankt-peterburg/cars/bmw/5er/all/?year_from=2000&year_to=2010&price_from=100000&price_to=1200000&sort=fresh_relevance_1-desc&top_days=1

Таким способом:
Document doc;
        System.out.println("start parsing Advs....");
        try {
            doc = Jsoup.connect(url) .userAgent("Mozilla/5.0 (Windows; U; WindowsNT 5.1; en-US; rv1.8.1.6) Gecko/20070725 Firefox/2.0.0.6")
                    .referrer("http://www.google.com")
                    .get();

            String title = doc.title();
            System.out.println(title);

            Elements elements = doc.getElementsByClass("Link ListingItemTitle-module__link");
            System.out.println(elements.text());

          Element el = elements.first();

           String s = el.attr("href");
            System.out.println(s);


Но желаемого результата это не приносит. Буду благодарен помощи и советам.
 
 
Сообщения:373
Roge:
Elements elements = doc.getElementsByClass("Link ListingItemTitle-module__link");

"Link ListingItemTitle-module__link" - это 2 класса: Link и ListingItemTitle-module__link.
Попробуйте оставить название только одного класса "ListingItemTitle-module__link".
 
 
Сообщения:2
Сделал как вы сказали, не помогло.
Если вывести в консоль не заголовок а doc.text() то выдает следующее:

Ой! ой… Нам очень жаль, но запросы, поступившие с вашего IP-адреса, похожи на автоматические. По этой причине мы вынуждены временно заблокировать доступ к сайту. Чтобы продолжить, пожалуйста, введите символы с картинки в поле ввода и нажмите «Отправить». В вашем браузере отключены файлы cookies. Мы не сможем запомнить вас и правильно идентифицировать в дальнейшем. Чтобы включить cookies, воспользуйтесь советами на этой странице. Произнести →Отправить Почему так случилось? Возможно, автоматические запросы принадлежат не вам, а другому пользователю, выходящему в сеть с одного с вами IP-адреса. Вам необходимо один раз ввести символы в форму, после чего мы запомним вас и сможем отличать от других пользователей, выходящих с данного IP. В этом случае страница с капчей не будет беспокоить вас довольно долго. Возможно, в вашем браузере установлены дополнения, которые могут задавать автоматические запросы к поиску. В этом случае рекомендуем вам отключить их. Также возможно, что ваш компьютер заражен вирусной программой, использующей его для сбора информации. Может быть, вам стоит проверить систему на наличие вирусов. Если у вас возникли проблемы или вы хотите задать вопрос нашей службе поддержки, пожалуйста, воспользуйтесь формой обратной связи. ё 1 2 3 4 5 6 7 8 9 0 ← qй wц eу rк tе yн uг iш oщ pз х ъ aф sы dв fа gп hр jо kл lд ж э zя xч cс vм bи nт mь б ю EnРу


Есть ли способ это обойти?
 
Модераторы:frymock
Сейчас эту тему просматривают:Нет