近期有工作任务,要获取一个目标网页的数据,然后写了下爬虫,使用了HttpWebRequest和WebClient发现都报429错误,后面采用WebBrowser伪装成浏览器访问,绕过了对方的反爬虫程序,另外目标网页还有一些比较棘手的反爬虫处理,在程序里都已经解决。目标网页地址:https://china.airasiago.com/Hotel-Search?destination=曼谷市中心,+曼谷,+泰国&startDate=2018/06/25&endDate=2018/06/26&adults=2®ionId=6200258&sort=recommended
1