快捷导航

java模拟浏览器发送请求爬取网页的标签

各位大神们:谁写过用java模拟浏览器,抓取网页标签,获取标签里的数据生成图片的?

免责声明:本内容仅代表回答者见解不代表本站观点,请谨慎对待。

版权声明:作者保留权利,不代表本站立场。

回复

使用道具 举报

参与会员2

要看下你的网页,是不是ajax方式动态加载的,httpconnection jsoup之类的,都是静态的,不会执行js去异步获取动态的内容。
你可以先抓包,然后直接发包请求这些内容。
回复

使用道具 举报

选择器没写对吧 另外如果目标div或其中的内容是ajax生成的,jsoup是获取不到的,这时可以用htmlunit之类带JavaScript引擎的
回复

使用道具 举报

可能感兴趣的问答

发新帖
TA的信息
  • 会员所属: 注册会员
  • 认证信息: 邮箱认证手机认证
  • 微信访问
  • 手机APP