golang并发爬虫

爬虫的需求很简单，就是从paste.ubuntu.com上搞别人贴的代码，然后判断是不是C/C++代码。面临着几个问题需要考虑：

１、paste访问的时间很长，这很影响爬虫和内容处理的效率，这该怎么办：

这个问题我使用了三种方法来解决，第一个是采用并行程序，这个就不多说了，多开几个线程做处理会快些。第二个是预判这个文件的大小，设定一个阈值，保证这个文件超过阈值后一定不是C/C++的题解代码，当然塞一张表除外，不过OJ一般限制65535B，我们可以取一半即30000B。第三个是设置timeout，在golang里就需要手工建立一个client发送get请求了，这里的具体函数如下：

funcGetHtml(Urlstring,MagicNumstring)[]byte{ timeout:=time.Duration(15*time.Second) client:=http.Client{ Timeout:timeout, } request,err:=http.NewRequest(http.MethodGet,Url,nil) iferr!=nil{ log.Errorln(err.Error()) returnnil } res,err:=client.Do(request) iferr!=nil{ log.Errorln(err.Error()) returnnil } result,err:=ioutil.ReadAll(res.Body) iflen(result)>30000{ returnnil } res.Body.Close() iferr!=nil{ log.Errorln(err.Error()) returnnil } rd:=bytes.NewReader(result) nd,err:=goquery.Parse(rd) iferr!=nil{ log.Panicln(err.Error()) } str:=nd.Find("td.code").Text() buf:=[]byte(str) returnbuf }

GetHtml

２、判断这个html中包含的代码是C/C++代码：

这个我处理得很糙，就是去看看有没有一个#include子串，当然这个子串是可以增加的，不过可能影响效率。希望有更好办法的朋友可以留下你的方法，在此谢谢。

funcJudge(buf[]byte)bool{ varpatterns=[]string{ "#include", } n:=len(patterns) fori:=0;i<n;i++{ ok,err:=regexp.Match(patterns[i],buf) ifok{ returntrue } iferr!=nil{ log.Errorln(err.Error()) returnfalse } } returnfalse }

Judge

3、并行访问时如何保证访问不冲突：

这个也很好解决，学过操作系统的人都明白可以添加一个mutex来保证一个资源不被同时访问。我这里更新的是一个offset，道理是一样的。这个os.Args[1]和offset都是全局变量，但是只有offset需要写，所以只给它加mutex就行了。

funcnumGetter(MagicNumstring,chchanint64){ Num,err:=strconv.ParseInt(MagicNum,10,64) iferr!=nil{ log.Errorln(err.Error()) return } ch<-(Num+Offset) Offset++ }

numGetter

funcNumGetter(Numstring,chchanint64){ for{ mutex.Lock() numGetter(Num,ch) mutex.Unlock() Do(strconv.FormatInt(<-ch,10)) } }

最后并行程序，一个go就可以解决～os.Args[2]用于设定线程数。

funcmain(){ Offset=0 ch:=make(chanint64,10) n,err:=strconv.ParseInt(os.Args[2],10,64) iferr!=nil{ log.Errorln(err.Error()) return } variint64 fori=0;i<n;i++{ goNumGetter(os.Args[1],ch) } time.Sleep(time.Hour) }

这是我第一次尝试用golang写并行的爬虫程序。我从学习写golang到现在有半个月的时间了，是时候找一本书认真学习一下go这个美妙的语言了。现在写的程序都是在翻译自己脑子里用其他语言写好的程序而已，我应该更多地去使用go语言的特性才可以。

原文链接：