好久不见,这次给大家带来一个全新的基于 .Net 的中文网页信息抽取的类库,Thrinax。该库的目标是通过一种简单的,低人工参与的方式来实现稳定的获取网页中的有效信息;这将会是一个系列文章,在书写文章的同时,类库也会不断完善,今天带来第一篇,基于网页区块的详情页信息抽取。
Thrinax 提供 .Net 4.5 以上,.netcore 2.0 以及后续版本的支持;使用较低版本的用户只能自行通过源码编译,或者升级 .Net 的版本。目前在 Nuget 发布的版本属于测试版本,在未经详细测试验证前,请勿用于生产环境,在版本号小于 2.0 之前,不对版本的兼容性做保证。
今天要介绍的功能为:文章详情页抽取。该源码借鉴了 stanzhai 的 Html2Article的思想,原方法使用文章的分行字数作为判断依据,获取字数较为集中的部分作为文章的正文。在 Apache 2.0 协议下开源,在此感谢他的付出。
Thrinax 中的 HtmlToArticle 位于 Thrinax.Extract 下,使用前先通过:
PM> Install-Package Thrinax
安装 Thrinax 类库,使用以下方法调用。
Article article = HtmlToArticle.GetArticle(htmlContent);
需要注意的是该版本与原有的版本字段不再兼容,下面介绍改进的几个方面:
使用div标签替换原有的按换行符的分段方式,并对所有div标签进行打分,规避了之前的遍历深度难以界定的问题,减少了正文出现遗漏或者杂质的概率;
为了选出最合适的区块,打分函数考虑了内含标签,字数等各种情况,根据数百个媒体的实际情况对参数进行了优化;
针对特殊的容易混淆的区块,还支持排除词的得分衰减,同时考虑了部分网站布局不清晰时使用段内的P标签的内容;
重写了时间识别的函数,将识别的准确性大幅提升;
标题仍然采用了原有的h1与title获取的方式,修改了一些可能出现的BUG,由于一般列表页已经获取到标题,所以此处不是特别重要;
媒体什么的非必要字段暂时未实现。
下面放几张实际解析的效果图片吧:
这个版本仍然是一个测试版本,下一篇文章会写列表页的解析,列表页相对文章页难度更大,需要配合一定的人工的工作,同时由于一个列表页可以解析出多篇文章的Url,所以相应的会给文章页解析带来新的思路,能大幅减少出现错误的概率。接下来会实现翻页的逻辑,在文章页和列表页都会十分有用,时间待定,期待吧!
最后,如果对这个项目感兴趣的话,快到 GitHub 上 Star 和 Fork 吧,也欢迎大家一起来贡献代码;当然,如果你是爬虫工程师或者对爬虫非常感兴趣的话,最好的方式是把简历投递给我,期待能一起共事!
本文来自 The NewIdea,作者 Carey Tzou 。
永久地址:https://www.tnidea.com/new-netcore-unstructured-text-capture-lib-thrinax.html
未经授权,拒绝任何全文及摘要转载!