Lwgzc手游网 / 好玩就多玩会!

热门搜索:WPS Office安卓模拟器爱奇艺office2003PPTV网络电视360安全卫士

您的位置: 首页 > 电脑软件 > 网络软件 > 网页辅助 > GeneralNewsExtractor(新闻网页正文通用抽取器)
GeneralNewsExtractor(新闻网页正文通用抽取器) / GeneralNewsExtractor(新闻网页正文通用抽取器)下载 版本
GeneralNewsExtractor(新闻网页正文通用抽取器)是一个基于《基于文本及符号密度的网页正文提取方法》论文用Python实现的正文抽取器,可以用来提取 HTML 中正文的内容、作者、标题。

开发介绍

  项目起源

  开发这个项目,源自于我在知网发现了一篇关于自动化抽取新闻类网站正文的算法论文——《基于文本及符号密度的网页正文提取方法》)

  这篇论文中描述的算法看起来简洁清晰,并且符合逻辑。但由于论文中只讲了算法原理,并没有具体的语言实现,所以我使用 Python 根据论文实现了这个抽取器。并分别使用今日头条、网易新闻、游民星空、观察者网、凤凰网、腾讯新闻、ReadHub、新浪新闻做了测试,发现提取效果非常出色,几乎能够达到100%的准确率。

  项目现状

  在论文中描述的正文提取基础上,我增加了标题、发布时间和文章作者的自动化探测与提取功能。

  目前这个项目是一个非常非常早期的 Demo,发布出来是希望能够尽快得到大家的使用反馈,从而能够更好地有针对性地进行开发。

  本项目取名为抽取器,而不是爬虫,是为了规避不必要的风险,因此,本项目的输入是 HTML,输出是一个字典。请自行使用恰当的方法获取目标网站的 HTML。

  本项目现在不会,将来也不会提供主动请求网站 HTML 的功能。

软件特别说明

安全、高速、放心的专业下载站!

标签: 网页 正文 新闻

人气软件
其他版本下载

更多(11)>爱奇艺VIP会员账号获取器

爱奇艺是一款目前非常流行的视频播放器,它为用户提供了丰富、清晰、流畅的视频资源,创造完美的观影体验。不过爱奇艺有一部分视频资源需要会员才能观看,考虑到会员资费比较昂贵不划算,小编从网上收集了各类爱奇艺会员号免费共享软件,让你可以免费获取最新的VIP账号,无论什么样的收费视频都能随便看。 查看 >>
回顶部 去下载

关于本站|下载帮助|下载声明|软件发布|联系我们|友情链接

Copyright © 2023 www.lwgzc.com.All rights reserved.

粤ICP备2020129034号