BeautifulSoup编写脚本实现内网网页链接爬取

﹏ヽ暗。殇╰゛Y 2022-11-24 15:28 176阅读 0赞

\#!/usr/bin/python3 env

\# -\*- coding:utf-8 -\*-

"""

auther:xiaohong.d

data:2020-04-30

description: this python3 script for groovy script use parameters to filter one module engine tag list

from now on. this script need python3 requests,json,BeautifulSoup only running on slave node

"""

import requests,json

from bs4 import BeautifulSoup

class RequestsParam:

"""参数组合"""

def \_\_init\_\_(self,url,prefix,module,suffix,timeout):

self.path = url+prefix+module+suffix

self.timeout = timeout

class Retrieve:

"""获取内容"""

def \_\_init\_\_(self,requestsparam):

self.req = requestsparam

def getPage(self):

r = requests.get(self.req.path,timeout=self.req.timeout)

return r.text

class ParsingHTML:

"""解析返回"""

def \_\_init\_\_(self,content):

self.content = content

def parseVersionLi(self):

soup = BeautifulSoup(self.content,'lxml')

newlist = \[ i.string.replace("/", "") for i in soup.find\_all("a")\]

return newlist\[1:\]

if \_\_name\_\_ == '\_\_main\_\_':

try:

opts, args = getopt.getopt(sys.argv\[1:\], "ha:")

except Exception as ex:

print (ex)

sys.exit()

args = "shield"

for tmp1, tmp2 in opts:

if tmp1 == "-a":

args = tmp2

if tmp1 == "-h":

print ("this is a help message")

rp = RequestsParam('http://\*\*\*\*\*:9999/','box/',args+'/','ine/',0.300)

retrieve = Retrieve(rp)

res = retrieve.getPage()

ph = ParsingHTML(res)

li = ph.parseVersionLi()

for i in li:

print (i)

发表评论取消回复

表情：

评论列表（有 0 条评论，176人围观）

还没有评论，来说两句吧...

相关阅读

相关 Beautifulsoup 爬取页面试题

假设有一个页面，页面中有n道选择题，每道选择题有若干个选项。题干部分用h6 标签标记。选项部分用的是td 下的div 标签。如下图所示：整个页面是将如下的HTML 段落循环

怼烎@/ 2023年08月17日 16:05/ 0 赞/ 112 阅读

相关 Python爬虫实现使用beautifulSoup4爬取名言网功能案例

本文实例讲述了Python爬虫实现使用beautifulSoup4爬取名言网功能。分享给大家供大家参考，具体如下：爬取名言网top10标签对应的名言，并存储到mysql中，

柔情只为你懂/ 2023年07月16日 03:50/ 0 赞/ 9 阅读

相关 Java 爬取网页

我们使用 net.URL 类的 URL() 构造函数来抓取网页代码如下 import java.io.BufferedReader; import j

Dear 丶/ 2023年05月21日 11:47/ 0 赞/ 264 阅读

相关 BeautifulSoup爬取豆瓣电影Top250

> 任务要求： > > 爬取[豆瓣电影][Link 1]Top250的电影名、评分、短评、评分人数等信息 ![在这里插入图片描述][resize_m_lfit_w_962_

╰半橙微兮°/ 2022年12月29日 11:21/ 0 赞/ 292 阅读

相关 BeautifulSoup编写脚本实现内网网页链接爬取

\!/usr/bin/python3 env \ -\- coding:utf-8 -\- """ auther:xiaohong.d data:2020-04-30

﹏ヽ暗。殇╰゛Y/ 2022年11月24日 15:28/ 0 赞/ 177 阅读

相关 scrapy爬取链接后再爬取链接内容

以下代码是在python3.6环境下测试通过 !/usr/bin/python -- coding:utf-8 -- from scrapy.h

╰+攻爆jí腚メ/ 2022年05月15日 15:10/ 0 赞/ 354 阅读

相关使用java+WebMagic实现电影资源链接爬取

1、首先百度搜索webmagic网站，网址如下：[https://github.com/code4craft/webmagic/releases/tag/WebMagic-0.

野性酷女/ 2022年02月13日 13:50/ 0 赞/ 388 阅读

相关爬取网易云音乐所有歌手名字和链接

采用面向对象的方式代码如下： import requests from lxml import etree from urllib import re

短命女/ 2022年02月05日 13:27/ 0 赞/ 401 阅读

相关爬取某个链接里面的所有图片...

直接上代码 -- coding: utf-8 -- import urllib from bs4 import BeautifulSoup

阳光穿透心脏的1/2处/ 2021年09月16日 06:04/ 0 赞/ 284 阅读

相关爬取网页图片

下载表情包吧指定网页的所有图片 #coding:utf-8 import urllib.request import urllib.parse import urlli...

系统管理员/ 2021年05月03日 05:44/ 0 赞/ 680 阅读