本文目录一览：
- 1、如何爬取JS动态生成的数据
- 2、怎样使用scrapy爬取js动态生成的数据
- 3、请问如何从网页源代码中提取js文件
- 4、爬虫怎么爬取js动态生成的数据
- 5、如何用python爬取js动态生成内容的页面
如何爬取JS动态生成的数据
String url = try { WebClient webClient = new WebClient(BrowserVersion.FIREFOX_10); //设置webClient的相关参数 webClient.getOptions().setJavaScriptEnabled(true); webClient.getOptions().setCssEnabled(false); webClient.setAjaxController(new NicelyResynchronizingAjaxController()); //webClient.getOptions().setTimeout(50000); webClient.getOptions().setThrowExceptionOnScriptError(false); //模拟浏览器打开一个目标网址 HtmlPage rootPage = webClient.getPage(url); System.out.println("为了获取js执行的数据 线程开始沉睡等待"); Thread.sleep(3000);//主要是这个线程的等待 因为js加载也是需要时间的 System.out.println("线程结束沉睡"); String html = rootPage.asText(); System.out.println(html);} catch (Exception e) {}
怎样使用scrapy爬取js动态生成的数据
这个方法只是获取页面源码；你的要求是获取DOM结构；
有一个方式，使用lxml库，先使用selenium获取整个html的DOM，再把Dom转存到lxml对象，这样的方式可以获取到正html Dom tree,下面例子：
def parse_from_unicode(unicode_str): #html DOM tree to lxml 格式
utf8_parser = lxml.etree.HTMLParser(encoding='utf-8')
s = unicode_str.encode('utf-8')
return lxml.etree.fromstring(s, parser=utf8_parser)
def parse(request):
driver = webdriver.PhantomJS()
html =driver.find_element_by_name('html')
lxml_html=parse_from_unicode（html）
kk=lxml_html.xpath('//tr') #使用xpath匹配
请问如何从网页源代码中提取js文件
src="fowl/fowl.nocache.js"这个是相对路径，你要把包括域名在内的绝对路径加上才行，域名在你浏览器地址栏里可以找到。
比如百度的域名是“”，那么网页要加上 “”，放在一块就是：“”。
如果你还找不到，那可以下载Chrome（谷歌）浏览器，按F12键，你不用提取，你发现Chrome已经伴你提取了，点进去直接看，还有Firefox（火狐）浏览器也有这个功能，也是F12键，但是要装一个FireBug插件，可以上网搜。-如何爬取.js文件
如果你懒得装新浏览器，只想使用IE，那就打开C:\Documents and Settings\用户名\Local Settings\Temporary Internet Files，这是XP系统下的IE人缓存目录，你会找到fowl.nocache.js这个文件的，如果你找不到，就百度或者谷歌查一下“如何显示隐藏的文件夹”，查一下“IE的缓存在哪儿”也可以。-如何爬取.js文件
如果你按照上面的方法解决了问题，快些结贴好不^_^
爬虫怎么爬取js动态生成的数据
我用Jsoup写爬虫，一般遇到html返回没有的内容。但是浏览器显示有的内容。都是分析页面的http请求日志。分析页面JS代码来解决。
1、有些页面元素被隐藏起来了-换selector解决
2、有些数据保存在js/json对象中-截取对应的串，分析解决
3、通过api接口调用-伪造请求获得数据
还有一个终极方法
4、使用phantomjs或者casperjs这种headless浏览器
如何用python爬取js动态生成内容的页面
抓取js动态生成的内容的页面有两种基本的解决方案
1用dryscrape库动态抓取页面
js脚本是通过浏览器来执行并返回信息的，所以，抓取js执行后的页面，一个最直接的方式就是用python模拟浏览器的行为。WebKit 是一个开源的浏览器引擎，python提供了许多库可以调用这个引擎，dryscrape便是其中之一，它调用webkit引擎来处理包含js等的网页！-如何爬取.js文件
2 selenium web测试框架
selenium是一个web测试框架，它允许调用本地的浏览器引擎发送网页请求，所以，它同样可以实现抓取页面的要求。
