android 开发--抓取网页解析网页内容的若干方法(网络爬虫)（正则表达式）

朴灿烈づ我的快乐病毒、 2022-08-05 08:52 483阅读 0赞

网页有两种格式，一种是xml另一种是html,目前似乎好像大部分都是html格式的，查看网页格式的方法是在浏览器中右键-->查看源码

**一，XML解析的三大方法**

(1) SAX: Simple API for XML

SAX是一个解析速度快并且占用内存少的XML解析器。SAX解析XML文件采用的是事件驱动，也就是它并不需要解析完整个文档，  
在按内容顺序解析文档的过程中，SAX会判断当前读到的字符是否符合XML语法中的某部分，如果符合则触发事件其实就是一些回调函数，  
这些方法定义在ContentHandler

(2)DOM:Document Object Model

DOM解析是将XML文件全部载入，组成一颗dom树，然后通过节点以及节点之间的关系来解析XML文件。  
对于特别大的文档，解析和加载整个文档可能很慢且很耗资源。

(3)pull

Pull是Android内置的xml解析器。Pull解析器的运行方式与SAX 解析器相似。它提供了类似的事件，如：开始元素和结束元素事件，使用parser.next()可以进入下一个元素并触发相应事件。事件将作为数值代码被发送，因此可以使用一个switch对感兴趣的事件进行处理。当元素开始解析时，调用parser.nextText()方法可以获取下一个Text类型节点的值。

**二，HTML解析的三大方法**

(1)Jsoup

jsoup 是一款 Java 的HTML 解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于JQuery的操作方法来取出和操作数据。

这个方法很简便，但是成功率不大，不推荐。

(2)urlconnection

与httpclient相似，httpclient是增强版的urlconnection

(3)httpclient

HttpClient是一个很方便进行Http连接操作的工具包，用它可以设置代理和模拟浏览器下载网页。而HtmlParser则是一个开源的，可以对HTML进行处理的工具包，可以很方便的对HTML进行解析。

**三，HttpClient源码讲解**

本源码实现了抓取网页上的部分内容，并分栏显示出来，改进自[laihuan99][]的博文[Android抓取CSDN首页极客头条内容--网页数据抓取][Android_CSDN_--]

**MainActivity2.java**

package com.example.webdatashow;
     //使用HttpClient组件访问网络以及获取 网页内容的方法。
    import java.io.IOException;
    import java.util.ArrayList;
    import java.util.HashMap;
    import java.util.List;
    import java.util.Map;
    import java.util.regex.MatchResult;
    import java.util.regex.Matcher;
    import java.util.regex.Pattern;
     
    import org.apache.http.client.ClientProtocolException;
    import org.apache.http.client.ResponseHandler;
    import org.apache.http.client.methods.HttpGet;
    import org.apache.http.impl.client.BasicResponseHandler;
    import org.apache.http.impl.client.DefaultHttpClient;
    import android.os.Bundle;
    import android.os.Handler;
    import android.os.Message;
    import android.app.Activity;
    
    import android.view.View;
    import android.view.View.OnClickListener;
    
    import android.widget.Button;
    import android.widget.ListView;
    import android.widget.SimpleAdapter;
    import android.widget.TextView;
    import android.widget.Toast;
    
    public class MainActivity2 extends Activity implements OnClickListener{
    	ListView listview;
        private String TAG = "webdatashow";
        private Button jiazai;
        private TextView webDataShow;
        private String pediyUrl = "http://www.stdu.edu.cn/";   
    	Handler handler; 
        List<Map<String, Object>> data;
         
        @Override
        protected void onCreate(Bundle savedInstanceState) {
            super.onCreate(savedInstanceState);
            setContentView(R.layout.main);  
            jiazai = (Button)findViewById(R.id.button1);
            webDataShow = (TextView)findViewById(R.id.webDataShow1);
            jiazai.setOnClickListener(this);    
        }
     
        @Override
        public void onClick(View view) {
                handler = getHandler();
                ThreadStart();
        }
        
        /*httpClientWebData()
         * 返回值类型:String
         * 抓取网页的document
         * 
         * */
        protected String httpClientWebData() {
        	String content = null;
            DefaultHttpClient httpClinet = new DefaultHttpClient(); //创建一个HttpClient 
            HttpGet httpGet = new HttpGet(pediyUrl);//创建一个GET请求 
            ResponseHandler<String> responseHandler = new BasicResponseHandler();         
    			try {
    				content = httpClinet.execute(httpGet, responseHandler);
    			} catch (ClientProtocolException e) {
    				e.printStackTrace();
    			} catch (IOException e) {
    				e.printStackTrace();
    			}//发送GET请求，并响应内容
    			return content;   
        }
        
        /*getDate()
         * 返回值类型:List<Map<String, Object>>
         * 提取网页document的所需内容
         * 
         * */
    	private List<Map<String, Object>> getDate() {
    		String httpstring = httpClientWebData();
    		List<Map<String, Object>> result = new ArrayList<Map<String, Object>>();
    		Pattern p = Pattern.compile("latestnewsnews  |  </span>\\s*<span style="white-space:pre">	</span><a href=\"(.*?)\" title=\"(.*?)\"");//正则表达式
    		Matcher m = p.matcher(httpstring);
    		while (m.find()) {
    			MatchResult mr=m.toMatchResult();
    			Map<String, Object> map = new HashMap<String, Object>();
    			map.put("title", mr.group(1));
    			map.put("url", mr.group(2));
    			result.add(map);
    		}
    		return result;	
    	}
    	
    	  /*ThreadStart()
         * 开辟新线程
         * 
         * */
    	private void ThreadStart() {
    		new Thread() {
    			public void run() {
    				Message msg = new Message();
    				try {
    					data = getDate();
    					msg.what = data.size();
    				} catch (Exception e) {
    					e.printStackTrace();
    					msg.what = -1;
    				}
    				handler.sendMessage(msg);
    			}
    		}.start();
    	}
    	private Handler getHandler() {
        	return new Handler(){
    			public void handleMessage(Message msg) {
    				if (msg.what < 0) {
    					Toast.makeText(MainActivity2.this, "数据获取失败", Toast.LENGTH_SHORT).show();
    				}else {
    					initListview();
    				}
    			}
            };
    	}
    	
    	  /*initListview()
         * 在listview中显示数据
         * 
         * */
    	private void initListview() {
    		Toast.makeText(getApplicationContext(), "doing......", Toast.LENGTH_SHORT).show(); 
    		ListView listView = (ListView) findViewById(R.id.listView1);	
    		listView.setAdapter(new SimpleAdapter(this,data , android.R.layout.simple_list_item_2,
    				new String[] { "title","href" }, new int[] {
    				android.R.id.text1,android.R.id.text2
    		}));
    
    	}
    
    }

**main.xml**

<?xml version="1.0" encoding="utf-8"?>
    <LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
        android:layout_width="fill_parent"
        android:layout_height="fill_parent"
        android:orientation="vertical" >
       <TextView
           android:id="@+id/webDataShow1"
            android:layout_width="wrap_content"
            android:layout_height="wrap_content" 
             android:text="" />
        <Button
            android:id="@+id/button1"
            android:layout_width="fill_parent"
            android:layout_height="wrap_content"
            android:text="加载" />
    
        <ListView
            android:id="@+id/listView1"
            android:layout_width="fill_parent"
            android:layout_height="wrap_content" >
        </ListView>
        
     
    
    </LinearLayout>

**manifest.xml**

<?xml version="1.0" encoding="utf-8"?>
    <manifest xmlns:android="http://schemas.android.com/apk/res/android"
        package="com.example.webdatashow"
        android:versionCode="1"
        android:versionName="1.0" >
    
        <uses-sdk
            android:minSdkVersion="8"
            android:targetSdkVersion="18" />
    <uses-permission android:name="android.permission.INTERNET" />
        <application
            android:allowBackup="true"
            android:icon="@drawable/ic_launcher"
            android:label="@string/app_name"
            android:theme="@style/AppTheme" >
            <activity
                android:name="com.example.webdatashow.MainActivity2"
                android:label="@string/app_name" >
                <intent-filter>
                    <action android:name="android.intent.action.MAIN" />
    
                    <category android:name="android.intent.category.LAUNCHER" />
                </intent-filter>
            </activity>
        </application>
    
    </manifest>

![20150911230306622][]

**最后写一点关于正则表达式的写法:**

需要下载一个工具:[RegexTester.exe下载][RegexTester.exe]

比如提取这一段源码中的新闻标题

</div>
      	      <div class="contentarea">	
    		  	
                 <div id="news">
                  			    <div id="news_1">
                    		<div class="moduletablenews">
    					<h3>学校新闻</h3>
    					
    <div class="newnotice"><div>今日共<a href="http://xcb.stdu.edu.cn/2009-05-05-02-26-33.html"><font color="red">0</font></a>信息更新</div></div><ul class="feednews-ul">
    	<li class="latestnewsnews">
    	<span id="date">09-10  |  </span>
    	<a href="http://xcb.stdu.edu.cn/2009-05-05-02-26-33/21883-2015-09-10-03-51-32.html" title="我校召开第三十一个教师节庆祝表彰大会" target="_blank">
    			我校召开第三十一个教师节庆祝表彰大会    
    	</a></li>
    	<li class="latestnewsnews">
    	<span id="date">09-09  |  </span>
    	<a href="http://xcb.stdu.edu.cn/2009-05-05-02-26-33/21884-2015-09-10-07-09-14.html" title="重传承、勇创新：四方学院圆满完成迎新工作" target="_blank">
    			重传承、勇创新：四方学院圆满完成迎...    
    	</a></li>
    	<li class="latestnewsnews">
    	<span id="date">09-07  |  </span>
    	<a href="http://xcb.stdu.edu.cn/2009-05-05-02-26-33/21844-2015-09-07-10-10-04.html" title="交通学院：同忆抗战史,共筑中国梦" target="_blank">
    			交通学院：同忆抗战史,共筑中国梦    
    	</a></li>
    	<li class="latestnewsnews">
    	<span id="date">09-06  |  </span>
    	<a href="http://xcb.stdu.edu.cn/2009-05-05-02-26-33/21834-2015-09-06-08-16-17.html" title="欧洲科学院院士张传增教授来校做学术报告" target="_blank">
    			欧洲科学院院士张传增教授来校做学术报告    
    	</a></li>

共同的格式是这样的：

<li class="latestnewsnews">
    	<span id="date">09-10  |  </span>
    	<a href="http://xcb.stdu.edu.cn/2009-05-05-02-26-33/21883-2015-09-10-03-51-32.html" title="我校召开第三十一个教师节庆祝表彰大会" target="_blank">
    			我校召开第三十一个教师节庆祝表彰大会    
    	</a></li>

用(.\*?)代替所需要的内容，于是在RegexTester.exe中输入下式能通过。（\\2表示与第二个所需内容重复）

class="latestnewsnews">
    	<span id="date">09-10  |  </span>
    	<a href="(.*?)" title="(.*?)" target="_blank">
    			\2

继续精简去掉无用的:通过

latestnewsnews	<span>  |  </span>
    	<a href=\"(.*?)\" title=\"(.*?)\" target=\"_blank\">
    			\2

再多试试去掉其它的杂草:

latestnewsnews	  |  </span>
    	<a href="(.*?)" title="(.*?)"

最后用\\\\s代替换行,并在每个"前加\\

latestnewsnews  |  </span>\\s*<span style="white-space:pre">	</span><a href=\"(.*?)\" title=\"(.*?)\"

这就是最好的形态，

说明一下，不好的正则表达式会严重地影响匹配时间从而影响你app的运行速度，要反复研究出最好的正则表达式以便让你的app更流畅。

[laihuan99]: http://my.csdn.net/laihuan99
[Android_CSDN_--]: http://blog.csdn.net/laihuan99/article/details/9144227
[20150911230306622]: /images/20220731/42693c4b798447a99eb5c0750d5d6459.png
[RegexTester.exe]: http://www.jb51.net/tools/regex_tester/