智能解析框架 Gerapy Auto Extractor

不念不忘少年蓝@ 2022-12-11 09:28 233阅读 0赞

This is the Auto Extractor Module for [Gerapy][], You can also use it separately.

You can use this package to distinguish between list page and detail page, and we can use it to extract `url` from list page and also extract `title`, `datetime`, `content` from detail page without any XPath or Selector.

It works better for Chinese News Website than other scenarios.

Introduction: [Introduction][]

## Installation ##

You can use this command to install this package:

pip3 install gerapy-auto-extractor

## Usage ##

Below are the methods this package implemented:

### Extraction of List Page ###

For list page, you can use `extract_list` method to extract the main list urls and their titles.

### Extraction of Detail Page ###

For detail page, you can use `extract_title` method to extract title, use `extract_content` method to extract content, use `extract_datetime` method to extract datetime.

Also you can use `extract_detail` method to extract all above attrs, results are joined as a json.

### Classification of List/Detail Page ###

You can use `is_list` or `is_detail` method to distinguish if this page is list page or detail page, the type of returned result is `bool`. Also you can use `probability_of_list` or `probability_of_detail` method to get the probability of the classification of this page, the type of returned result is `float`.

Usage example:

from gerapy_auto_extractor import extract_list, extract_detail, is_detail, is_list, probability_of_detail, probability_of_list
    from gerapy_auto_extractor.helpers import content, jsonify
    
    html = content('samples/list/sample.html')
    print(jsonify(extract_list(html)))
    
    html = content('samples/detail/sample.html')
    print(jsonify(extract_detail(html)))
    
    html = content('samples/detail/sample.html')
    print(probability_of_detail(html), probability_of_list(html))
    print(is_detail(html), is_list(html))
    
    html = content('samples/list/sample.html')
    print(probability_of_detail(html), probability_of_list(html))
    print(is_detail(html), is_list(html), )

HTML files can be found in [samples][].

Below are outputs:

[
      {
        "title": "山东通报\"苟晶事件\"：15人被处理部分事实有反转",
        "url": "http://news.163.com/20/0703/13/FGK7NCOR0001899O.html"
      },
      {
        "title": "胡锡进：香港这仗就是要让华盛顿明白，它管多了",
        "url": "https://news.163.com/20/0702/19/FGI8IUEP0001899O.html"
      },
      {
        "title": "山东一校长为儿子伪造档案11岁开始领国家工资",
        "url": "https://news.163.com/20/0702/21/FGIENBGS0001899O.html"
      },
      {
        "title": "大理西洱河又现\"鱼腾\"奇景市民沿岸围观有人徒手抓",
        "url": "https://news.163.com/20/0704/03/FGLOFC3P0001875P.html"
      },
      {
        "title": "陈国基被任命为香港特别行政区国安委秘书长",
        "url": "https://news.163.com/20/0702/12/FGHFAVS200018AOQ.html"
      },
      {
        "title": "孙力军等6名中管干部被查上半年反腐数据说明啥？",
        "url": "https://news.163.com/20/0703/00/FGIPQ11D0001899O.html"
      },
      {
        "title": "香港特区政府严厉谴责暴徒恶行全力支持警队严正执法",
        "url": "https://news.163.com/20/0702/09/FGH801750001899O.html"
      }
    ]
    {
      "title": "美国新冠肺炎确诊病例超278万例 死亡129227例",
      "datetime": "2020-07-04 01:55:04+08:00",
      "content": "（原标题：美国新冠肺炎确诊病例超过278万例）\n根据约翰斯·霍普金斯大学的最新数据统计，截至美东时间7月3日16时33分，美国新冠肺炎确诊病例超过278万例，为2780916例，死亡病例为129227例。新增确诊病例数较当日9时33分公布的数据增长了40563例。\n目前，美国至少有19个州已经下令要求民众在公共场合佩戴口罩。佛罗里达州坦帕市市长简·卡斯特在7月3日接受电视采访时表示，“在美国的任何地方都没有反对戴口罩的好理由”。卡斯特已经下令要求该市民众必须在公众场合佩戴口罩，并认为没有理由反对在全州范围颁发“口罩强制令”，但她表示最好的方式“是各市与县政府自行发出命令。”除该市外，佛罗里达州的迈阿密，杰克逊维尔和棕榈滩县也开始要求民众在公共场所戴口罩。\n截至目前，佛罗里达有接近17万人确诊新冠肺炎，日增新确诊病例数于7月2日突破1万例，今日统计再新增9488例。\n【世卫：即使20%的人拥有抗体 新冠病毒还能有效传播】\n当地时间7月3日，世卫组织召开新冠肺炎发布会，世卫组织卫生紧急项目负责人迈克尔·瑞安表示，人群中出现任何程度的抗体都会提供一定的屏障，因为一旦有人得到保护，病毒就会更难传播，但要想达到防火墙一般的效果，就需要比例较高的人群呈抗体阳性。即使20%的人拥有抗体，病毒还是能够有效传播，同时还要考虑抗体所能提供的保护时长。\n详情>>\n【美国西雅图一大学宿舍区超100名学生感染新冠肺炎】\n当地时间7月3日，据当地媒体报道，西雅图华盛顿大学的宿舍区中暴发新冠肺炎疫情，其中至少105名学生被确诊为新冠肺炎患者。校方表示，目前至少有800名学生进行了新冠病毒检测，其中至少62名确诊学生同属一个社团，目前学校已被通知停止学生一切聚会活动。\n【白宫“不顾疫情”大搞独立日庆典 预计7500人参加】\n华盛顿特区的活动只是特朗普为独立日举办的盛大庆典的第二出。当地时间3日，特朗普将前往位于南达科他州的拉什莫尔山国家纪念公园，在著名的“总统山”下发表演讲，届时还将举行烟花表演。据法新社报道，这场活动预计吸引7500人参加，然而戴口罩、保持社交距离等防疫措施依然是靠民众自觉。\n详情>>\n【美国至少37州疫情反弹 至少19州发布\"口罩强制令\"】\n截至目前，全美至少37个州出现疫情反弹，其中加利福尼亚、亚利桑那、德克萨斯，以及佛罗里达州本周确诊病例数均高于此前日增记录，另有蒙大拿、爱达荷、内华达、佛罗里达、佐治亚、田纳西、路易斯安那、阿拉斯加，以及特拉华州新增病例数超过50%。\n详情>>\n【非洲地区新冠肺炎确诊病例快速增长至43.3万】\n截至非洲东部时间7月3日，非洲疾控中心数据显示：非洲地区54个国家报告了新冠肺炎确诊病例433500例，死亡10658例，208400人康复。\n尽管非洲确诊病例数仍在持续增加，但尼日利亚、塞拉利昂等国已决定恢复通航。\n尼日利亚表示，各大机场将于近期陆续恢复国内航班的运营，其中首都阿布贾和经济中心拉各斯的机场将于8日率先开放，其他城市机场将于11日起陆续开放。国际航班的恢复日期将在适当时候宣布。\n【巴西卫生部：新冠肺炎感染人数或已超过1050万】\n巴西卫生部针对巴西全国的一项调查显示，巴西新冠肺炎实际感染人数可能已超过1050万，是目前巴西公布的已确诊新冠肺炎病毒感染人数的7倍以上。\n这项调查是由巴西卫生部与佩洛塔斯联邦大学联合进行的。这一调查结果2日发表在巴西联邦政府的报告中。这项调查分三个阶段，通过对巴西133定点人口分布最多的城市进行抽样调查，估算出具有新冠病毒抗体的人群比例，并分析巴西全国感染人群的演变。\n巴西联邦政府希望通过这个研究，帮助地方政府制定相应的经济活动开放或限制措施。"
    }
    
    0.9990605314033392 0.0009394685966607814
    True False
    0.033477426883441685 0.9665225731165583
    False True

Just for Beta.

Needs more effort to improve.

## Reference ##

### Paper ###

*  [面向不规则列表的网页数据抽取技术的研究][Link 1]
 *  [基于文本及符号密度的网页正文提取方法][Link 2]
 *  [基于块密度加权标签路径特征的Web新闻在线抽取][Web]
 *  [基于DOM树和视觉特征的网页信息自动抽取][DOM]

### Project ###

*  [GeneralNewsExtractor][]
 *  [Readability][]

## Citing ##

If you use Gerapy Auto Extractor in your research or project, please add a reference using the following BibTeX entry.

@misc{cui2020gerapy,
      author =       {Qingcai Cui},
      title =        {Gerapy Auto Extractor},
      howpublished = {\url{https://github.com/Gerapy/GerapyAutoExtractor}},
      year =         {2020}
    }

[Gerapy]: https://github.com/Gerapy/Gerapy
[Introduction]: https://www.v2ex.com/t/687948
[samples]: https://pypi.org/project/gerapy-auto-extractor/samples
[Link 1]: http://www.cnki.com.cn/Article/CJFDTotal-JSYJ201509023.htm
[Link 2]: https://kns.cnki.net/KCMS/detail/detail.aspx?dbcode=CJFQ&dbname=CJFDLAST2019&filename=GWDZ201908029&v=MDY4MTRxVHJXTTFGckNVUkxPZmJ1Wm5GQ2poVXJyQklqclBkTEc0SDlqTXA0OUhiWVI4ZVgxTHV4WVM3RGgxVDM=
[Web]: https://kns.cnki.net/kcms/detail/detail.aspx?filename=PZKX201708010&dbcode=CJFQ&dbname=CJFD2017&v=
[DOM]: http://www.cnki.com.cn/Article/CJFDTOTAL-JSJC201310069.htm
[GeneralNewsExtractor]: https://github.com/kingname/GeneralNewsExtractor
[Readability]: https://github.com/buriy/python-readability