当前位置:编程学习 > C#/ASP.NET >>

【采集】C# 写一客户端,采集某网站的信息数据,但对方网站有限制采集间隔,求解决方案??

C# 写一客户端,采集某网站的信息数据,但对方网站有限制时间间隔,如:1分钟内,仅允许当前账号的IP采集5次, 
超过这个间隔,网站就屏蔽该合法账号。(用于合法采集数据) 

ip基本上在软件启动后,在动态改变ip的策略上,实施比较困难。 
不知有其它方案可以解决此问题否?恳请各位详细指点。 --------------------编程问答-------------------- --------------------编程问答-------------------- 这个基本上很难,除非你用adsl再拨号,用程序调用拨号程序,不过这也太麻烦,或者自动指定代理ip.
要不然你等1分钟之后再试.
--------------------编程问答--------------------

代理不好找,各个代理的访问速度也有差异,郁闷。。 --------------------编程问答-------------------- 这种只能动态修改IP地址,或抓取数据后通过线程延迟时间再抓取数据 --------------------编程问答--------------------

谢谢,郁闷,怎么办呢。。 --------------------编程问答-------------------- 上代理。 --------------------编程问答-------------------- 轮询代理么

设置一个代理列表,采集前获取每个代理的速度值,然后排序

主IP采集5个后,转到代理列表中采集,时间到了后再转回主IP --------------------编程问答-------------------- 不清楚 JF  --------------------编程问答-------------------- 设置一个代理列表,采集前获取每个代理的速度值,然后排序 

主IP采集5个后,转到代理列表中采集,时间到了后再转回主IP
----------------------------------------------------
有比较稳定与速度快的代理么,这个方案可行,但存在不稳定性。

谢谢建议。 --------------------编程问答-------------------- 不太可能啊
那你访问网站几次不就要封你IP了啊
楼主肯定弄错了 --------------------编程问答-------------------- 呵呵 --------------------编程问答-------------------- 楼主头脑有点简单,多学点网络协议方面的知识吧,提问太幼稚了…… --------------------编程问答-------------------- 网站怎么知道你是在采集还是正常访问?难道按5次F5也会被封IP? --------------------编程问答--------------------
引用 12 楼 pinbor 的回复:
楼主头脑有点简单,多学点网络协议方面的知识吧,提问太幼稚了……



嗯,了解不多。
不过兄弟可否简要说二句?

高手也应有热情的态度吧。 --------------------编程问答-------------------- JF --------------------编程问答-------------------- --------------------编程问答-------------------- 协商解决。 --------------------编程问答-------------------- 一分钟内访问五次就屏蔽IP?不大可能吧,如果真这样设置,他的网站还有得混?别说采集,就算是正常访问,一分钟打开五个连接也是很正常的事,那你用个很多人用的代理去捉,那个代理马上被屏蔽了,那其它人还上什么啊,楼主肯定是没弄清楚对方网站的防采集策略的~~
补充:.NET技术 ,  非技术区
CopyRight © 2012 站长网 编程知识问答 www.zzzyk.com All Rights Reserved
部份技术文章来自网络,