网站建设

使用selenium自动获取页面爬取

(1)使用webdriver库,模拟人工进入网页。

(2)依次点击正常登陆时需要点击的对话框。

(3)elenium是在模仿人工点击页面,因此人工正常浏览网站时,该有的步骤都不能少,否则就会卡住在这步,从而导致程序异常中止。

(4)这里通过使用webdrive库的find＿element＿by＿xpath和find＿element＿by＿css＿selector两个用法,找到每个点击框的位置并用click()点击。

(5)登陆账号

由于网站需要登录才能进行详细信息的查看,因此先要进行登录操作,再进行后续的检索。同样是先使用find＿element＿by＿css＿selector用法找到登录框和输入账号密码的位置,在用send＿keys用法分别输入账号和密码,最后在点击登录框中的登录。