Q:JAVA框架使用代理响应较慢
A:检查代理验证方式是否为用户名密码验证,JAVA框架如httpclient
使用用户名密码发送代理请求会发送两次,首次请求信息header不携带Proxy-Authorization
, 当代理服务器返回407
状态码后才会携带用户名密码信息,导致请求耗时增加。JAVA框架使用代理建议使用IP白名单的方式进行认证。
Q:使用不同的代理IP访问数据依然出现验证码
A:部分热门网站会对客户端IP采取风控机制来**非人类真实请求,是一种很正常的企业级HTTP代理服务策略。对于这样的网站现在的企业级HTTP代理服务手段也早已经不是单单靠堆IP数量就可以解决的。建议合理控制请求频率并搜集目标网站企业级HTTP代理服务规律及解决方法。
Q:使用代理发POST请求失败
A:检测您的请求中Content-Length
header信息是否与POST请求中实体长度一致以及HTTP请求报文格式是否规范,建议由发起请求的http客户端自动添加。
Q:API提取频率为1s10次不够我使用怎么办
A:我们发现少量用户在使用Python Scrapy等框架情况下每次请求都会获取一个代理IP来发送请求,这样不仅会增加耗时请求,如果频率太快还会被API服务器**。建议用户在本地程序中或者使用Redis维护一个代理IP池,防止API的高频调用
Q:带宽超限是如何判断的?
A:当您的请求所需带宽达到上限后,建立的连接会延迟传输;当拿到完整请求延迟达到1s会拒绝。
更多常见问题解答会持续完善,敬请关注...