Python+实例解析Web页面元素提取

Love The Way You Lie 2022-11-10 10:57 180阅读 0赞

> 本文章介绍python实例解析——Web页面元素提取
> 
> 提取网页：http://ngchina.com.cn/

# encoding=utf-8
    
    # 步骤一:读取保存在本地的html文件
    # 步骤二:解析并提取其中的图片链接
    # 步骤三:输出并提取结果到屏幕
    # 步骤四:保存提取结果为文件
    
    # 1读取文件内容，结果转换为分行列表
    def getHTMLLines(htmlpath):
    	f=open(htmlpath,"r",encoding='utf-8')
    	ls=f.readlines()
    	f.close()
    	return ls
    # 2解析文件提取URL
    def extractImagesUrls(htmllist):
    	urls=[]
    	for line in htmllist:
    		if 'img' in line:
    			url=line.split('src=')[-1].split('"')[1]
    			if 'http' in url:
    				urls.append(url)
    	return urls
    # 3获取的链接输出到屏幕上
    def showResults(urls):
    	count=0
    	for url in urls:
    		print('第{:2}个URL:{}'.format(count,url))
    		count+=1
    # 4保存到结果到文件
    def saveResults(filepath,urls):
    	f=open(filepath,"w")
    	for url in urls:
    		f.write(url+"\n")
    	f.close()
    # 主函数
    def main():
    	inputfile='ngchina.html'
    	outputfile='ngchina.txt'
    	htmlLines=getHTMLLines(inputfile)
    	imagesUrls=extractImagesUrls(htmlLines)
    	showResults(imagesUrls)
    	saveResults(outputfile,imagesUrls)
    # 执行
    main()

![Xnip2021-03-18\_16-45-53][Xnip2021-03-18_16-45-53]

![ng][]

> 该实例完成了简单的HTML解析和提取功能
> 
> 对于更加复杂的建议使用HTML解析库
> 
> 比如beautifulsoup4第三方库

[Xnip2021-03-18_16-45-53]: /images/20221022/347f1c6c39b44f7596bcdacb26f83874.png
[ng]: /images/20221022/0e8534fff2394ebd961bcdd5748aaa7f.png

发表评论取消回复

表情：

评论列表（有 0 条评论，180人围观）

还没有评论，来说两句吧...

相关阅读

相关 Web爬虫实践：Python解析HTML元素的方法

在Python中，我们可以使用内置的`BeautifulSoup4`库来解析HTML元素。以下是一些常用的方法： 1. **导入库**： ```python from bs4

迈不过友情╰/ 2024年12月22日 11:33/ 0 赞/ 6 阅读

相关 Python爬虫实践：网页元素提取困难

在编写Python爬虫时，可能会遇到网页元素提取困难的情况。这通常是因为以下几个原因： 1. **动态加载**：有些网页元素是通过JavaScript异步加载的，这种情况下直

向右看齐/ 2024年12月21日 12:48/ 0 赞/ 8 阅读

相关 Python爬虫-网页数据的解析提取-Xpath

一、初识Xpath XPath 常用规则 <table> <thead> <tr> <th>表　达　式</th> <th>描　　述</th>

港控/mmm°/ 2023年10月02日 23:39/ 0 赞/ 46 阅读

相关【Python】Python库之Web信息提取

![format_png][] ![format_png 1][] ![format_png 2][] ![format_png 3][] ![format_png 4

桃扇骨/ 2023年03月14日 08:25/ 0 赞/ 51 阅读

相关 Web页面相同部分提取小技巧

Hello,I'm Shendi -------------------- 最近在写 Web 页面,期间难免有很多页面共用同一块元素例如导航栏,底部版权信息等实现

迈不过友情╰/ 2022年12月15日 11:15/ 0 赞/ 246 阅读

相关 08-页面解析之数据提取-python爬虫

一般来讲对我们而言，需要抓取的是某个网站或者某个应用的内容，提取有用的价值，内容一般分为两部分，非结构化的文本，或结构化的文本。关于结构化的数据 JSON、XML、

╰+哭是因爲堅強的太久メ/ 2022年12月10日 14:41/ 0 赞/ 202 阅读

相关 Python+实例解析Web页面元素提取

> 本文章介绍python实例解析——Web页面元素提取 > > 提取网页：http://ngchina.com.cn/ encoding=utf-8

Love The Way You Lie/ 2022年11月10日 10:57/ 0 赞/ 181 阅读

相关 python 解析网页html,提取需要的页面信息

爬虫网络请求方式：urllib、 requests， scrapy(框架）、 pyspider(框架) 爬虫数据提取方式：正则表达式, bs4, lxml, xpath

Myth丶恋晨/ 2022年09月14日 13:25/ 0 赞/ 192 阅读

相关 08-页面解析之数据提取-python爬虫

辅助视频教程：[Python基础教程|xin3721自学网ul li id=itemtitlePython3 从入门到精通视频教程/li /ul ul li class=des

刺骨的言语ヽ痛彻心扉/ 2022年09月13日 05:17/ 0 赞/ 216 阅读

相关页面解析之数据提取-python爬虫

关于结构化的数据 JSON、XML、HTML HTML文本（包含JavaScript代码）是最常见的数据格式，理应属于结构化的文本组织，但因为一般我们需要的关键信息并非直接

柔光的暖阳◎/ 2022年09月12日 03:52/ 0 赞/ 258 阅读