Java_爬虫，如何抓取Js动态生成数据的页面？

用nodejs+puppeteer，解析dom结构获取，或者直接观察返回数据的接口，看能不能直接调用

创新互联-专业网站定制、快速模板网站建设、高性价比盐都网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式盐都网站制作公司更省心,省钱,快速模板网站建设找我们，业务覆盖盐都地区。费用合理售后完善，10多年实体公司更值得信赖。

java爬虫怎么抓取js动态生成的内容

我用Jsoup写爬虫，一般遇到html返回没有的内容。但是浏览器显示有的内容。都是分析页面的http请求日志。分析页面JS代码来解决。

1、有些页面元素被隐藏起来了-换selector解决

2、有些数据保存在js/json对象中-截取对应的串，分析解决

3、通过api接口调用-伪造请求获得数据

还有一个终极方法

4、使用phantomjs或者casperjs这种headless浏览器

java爬虫中怎么访问浏览器中定义的js函数

在JS中函数的定义可以分为两种：

1. 函数声明

2. 函数表达式

根据你的代码，下面的代码就是函数的声明（当然另外一段代码是函数表达式）：

function a (){

alert(123);

}

根据JS中的语法特性（注意哦，是js的语法特点，要记住）：

在javascript函数体内（执行作用域）声明的变量，无论在函数体何处声明，它将都会被提升到函数的顶部，我们称这种现象为变量提升。 函数呢，它也有这种特性，即无论在函数体何处声明另一个函数，它将都会被提升到函数的顶部。只是采用函数表达式和函数声明所体现的函数提升的内容是有差别的：函数表达式和变量提升类似，只会提升函数的变量，不提升函数的定义；而函数声明提升时，不仅仅会提升函数的声明，函数的定义也会被提升

根据以上特性，你的代码在执行时，

function a (){

alert(123);

}

这段代码被提升到执行作用域的顶端，最开始被执行；

然后，在执行

var a =function(){

alert('234');

}

这段代码，导致该代码覆盖了前面的函数声明代码；

不信你可以做个测试：

将a()放到js代码的最顶端，可以看看会打印什么结果，此时你就明白了！

文章标题：java爬虫js代码 js网页爬虫
转载来于：http://ybzwz.com/article/hihcgi.html