网友评分:7分
开发介绍
项目起源
开发这个项目,源自于我在知网发现了一篇关于自动化抽取新闻类网站正文的算法论文——《基于文本及符号密度的网页正文提取方法》)
这篇论文中描述的算法看起来简洁清晰,并且符合逻辑。但由于论文中只讲了算法原理,并没有具体的语言实现,所以我使用 Python 根据论文实现了这个抽取器。并分别使用今日头条、网易新闻、游民星空、观察者网、凤凰网、腾讯新闻、ReadHub、新浪新闻做了测试,发现提取效果非常出色,几乎能够达到100%的准确率。
项目现状
在论文中描述的正文提取基础上,我增加了标题、发布时间和文章作者的自动化探测与提取功能。
目前这个项目是一个非常非常早期的 Demo,发布出来是希望能够尽快得到大家的使用反馈,从而能够更好地有针对性地进行开发。
本项目取名为抽取器,而不是爬虫,是为了规避不必要的风险,因此,本项目的输入是 HTML,输出是一个字典。请自行使用恰当的方法获取目标网站的 HTML。
本项目现在不会,将来也不会提供主动请求网站 HTML 的功能。
全民K歌PC版 V2.21.170 官方最新版 92.37M | 简体中文 | 7.6
下载安卓投屏 V8.7.6 免费版 56.26M | 简体中文 | 5
下载dnf反和谐补丁2021 最新免费版 273M | 简体中文 | 5
下载GTA4完全版汉化补丁 V2021 Steam版 5.5M | 简体中文 | 5
下载TapTap电脑版 V2.11.0 官方最新版 36.36M | 简体中文 | 5
下载征服的荣耀围城修改器 V1.0 游侠版 30.42M | 简体中文 | 4.3
下载