ASP.net(C#)从其他网站抓取内容并截取有用信息的实现代码

239人浏览 / 0人评论
1. 需要引用的类库
复制代码 代码如下:

using System.Net;
using System.IO;
using System.Text;
using System.Text.RegularExpressions;

2. 获取其他网站网页内容的关键代码
复制代码 代码如下:

WebRequest request = WebRequest.Create("http://目标网址.com/");
WebResponse response = request.GetResponse();
StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312"));
//reader.ReadToEnd() 表示取得网页的源码
TextBox1.Text = reader.ReadToEnd();

3. 获取其他网站网页源码之后通过{正则表达式}帅选有用信息
复制代码 代码如下:

MatchCollection TitleMatchs = Regex.Matches(reader.ReadToEnd(), @"发表评论

([\s\S]*?)
", RegexOptions.IgnoreCase | RegexOptions.Multiline);
foreach (Match NextMatch in TitleMatchs)
{
s += "
" + NextMatch.Groups[1].Value;
TextBox1.Text += "\n" + NextMatch.Groups[1].Value;
}

RegexOptions.IgnoreCase: 表示不区分大小写, 一般网站源码大小写不敏感所以取消之.

RegexOptions.Multiline: 表示对多行内容进行帅选.
4. 大功告成
不上图了! 影响不好! 见谅见谅
文中代码打包下载

全部评论

晴天下起了小雨
2017-10-01 18:00
很喜欢,果断关注了
wjmyly7336064
2017-10-01 18:00
相当实用,赞美了
橘大佬
2017-10-01 18:00
就是有些细节再到位点就好了…