fay 发表于 2006-4-7 14:05:03

求助：为何用wget抓不了这个页面，浏览器却可以浏览。

wget抓的时候服务器总是报500服务器内部错，但用浏览器却可以很正常的打开。
http://www.nmc.gov.cn/nmc/citySearch.do?inputMode=citysearch&type=second&cityid=54511

原来我以为可能是程序处理了浏览器的信息了，但我把Firefox的UserAgent里所有的信息都不提交，还是可以正常打开，唯独wget不能正常抓取。

fakeroot 发表于 2006-4-7 15:59:14

浏览器也是500

fay 发表于 2006-4-7 17:38:26

我在Windows下用Firefox和IE都能正常打开啊

fakeroot 发表于 2006-4-7 18:01:20

还是500，什么浏览器都是500

zhy2111314 发表于 2006-4-7 20:35:17

我的也是500

fay 发表于 2006-4-7 20:50:04

终于弄明白了，是cookie的问题，先访问一下首页www.nmc.gov.cn，保存cookie，再用wget抓时载入cookie就不会出错了。

red506 发表于 2006-4-17 17:26:39

追问一下，Wget可以把整个网站GET下来不，要用哪个参数？

BOoRFGOnZ 发表于 2006-4-18 14:14:53

wget -r -p -np -k http://＊＊＊＊＊＊＊＊

red506 发表于 2006-4-20 16:12:59

www.×××××.com/products_tx2.asp?pid=47
可不可以不让他下载这个ducts_tx2.asp?pid=47，直接下载www.×××××.com/products_tx2.asp
页: [1]
查看完整版本: 求助：为何用wget抓不了这个页面，浏览器却可以浏览。