如何通过asp.net来解析robots文件

   百度上面有个robots.txt

www.baidu.com/robots.txt
如何通过代码来接收和解析它？
--------------------编程问答-------------------- 1、下载它
2、解析它 --------------------编程问答-------------------- http://www.baidu.com/robots.txt --------------------编程问答-------------------- 请求上面sp给的地址，然后downloadstring，然后解析？这是你要的么？

补充：.NET技术 ,  ASP.NET