我试图使用rvest来蜘蛛网页,需要在表单上登录电子邮件/密码。
rm(list=ls()) library(rvest) ### Trying to sign into a form using email/password url <-"http://www.perfectgame.org/" ## page to spider pgsession <-html_session(url) ## create session pgform <-html_form(pgsession)[[1]] ## pull form from session set_values(pgform,`ctl00$Header2$HeaderTop1$tbUsername` = "myemail@gmail.com") set_values(pgform,`ctl00$Header2$HeaderTop1$tbPassword` = "mypassword") submit_form(pgsession,pgform,submit=`ctl00$Header2$HeaderTop1$Button1`)
这给我以下错误信息:
Error in submit_request(form,submit) :
对象’ctl00 $ Header2 $ HeaderTop1 $ Button1’未找到
如果我提交表单而没有指定submit参数,我得到这个:
Submitting with 'ctl00$Header2$HeaderTop1$Button1' Error in function (type,msg,asError = TRUE) : <url> malformed
我也尝试将参数直接传递给httr,如本问题所述:How can I POST a simple HTML form in R?,但是“submit”参数不接受提交按钮,带有向后引号(“),引号或没有引号:
library(httr) url <- "http://www.perfectgame.org/Rankings/Players/Default.aspx?gyear=2015&num=500" fd <- list( submit = `ctl00$Header2$HeaderTop1$Button1`,`ctl00$Header2$HeaderTop1$tbUsername` = "myemail@gmail.com",`ctl00$Header2$HeaderTop1$tbPassword` = "mypassword") resp<-POST(url,body=fd,encode="form") content(resp)
解决方法
您的rvest代码不存储修改的表单,所以在您的示例中,您只是提交原始的pgform,而不会填写值。尝试:
library(rvest) url <-"http://www.perfectgame.org/" ## page to spider pgsession <-html_session(url) ## create session pgform <-html_form(pgsession)[[1]] ## pull form from session # Note the new variable assignment filled_form <- set_values(pgform,`ctl00$Header2$HeaderTop1$tbUsername` = "myemail@gmail.com",filled_form)
我现在看到一个很好的200状态代码响应,而不是错误。请注意,因为所需的提交按钮似乎是第一个提交按钮,我们不需要将其作为参数,但否则我们只需要给它一个字符串(直的引号,而不是后面的引号)。