有的网站要登录才能采集,就是要采集器获取到登录后网站cookie才能采集 ,或者是写发布模块要用到抓包获取post的数据,虽然采集器有内置浏览器获取这些信息,
但是有的时候获取的不够准确,就可以使用fiddler抓包工具来获取。
fiddler工具下载地址:http://www.telerik.com/download/fiddler
1,下载并安装好,启动fiddler工具,设置就按照下图说明来设置,界面如下:
2,我们看到很多信息,要找到我们需要的网站很难 ,我们可以清空已经抓到的信息,电脑键盘“CTER+X”是清空的快捷键,清空后的结果:
3,现在只要刷新我们要获取cookie的网站就可以 ,我这里就用我们官方的论坛来测试http://bbs.locoy.com/ ,从新刷新页面就可以了,
刷新后我们看下fiddler工具得到什么,如下图:这里一定要选择“raw”这个选项,这个图忘记注明了。
4,就可以获取到cookie,然后点击“View in Notepad”,把结果保存到记事本里面如下图:
5,并把cookie 和user-engent等信息复制到采集器里面
V8版本 在规则的第一步,网页登录信息那里填写。
V9版本 其他设置-http请求设置