网页裁剪项目——思路、url接收处理

àì夳堔傛蜴生んèń 2022-05-08 10:14 163阅读 0赞

**目录**

一、思路

二、url接收处理

1，简易版处理

（1）获取无 '/'的url

（2）处理有'/'的url

三、spring boot中调用python

1，java中调用python的相关知识

（1）加入dependency

（2）运行基本的python程序

（3）Failed to install '': java.nio.charset.UnsupportedCharsetException: cp0 处理

（4）调用python文件

2，编写获取网页指定内容的python程序！

--------------------

用网页在看电影的时候，总是有那么一堆的广告，如果用F12去关掉广告，总要浪费点时间，而且不方便。正好学了那么多技术，计划做一个网页跳转的web应用，能够删掉不必要的内容。

# 一、思路 #

看一看我想要的操作：

输入一个链接——>spring获取url内容——>交给python处理网页、剔除不必要的部分，然后返回网页——>通过前端可以看电影了！

因此我需要几个技术来处理：

spring boot + spring mvc 处理 url + java调用python接口 + python 2（2要熟悉一点）截取指定内容 ——> 返回给到前台

# 二、url接收处理 #

## 1，简易版处理 ##

### （1）获取无 '/'的url ###

博主通过 [http://localhost:8089/tailor][http_localhost_8089_tailor] 这个url处理后续的网页，通过一个路径参数，取出tailor后面的变量并打印出来

@Controller  
//  裁剪网页控制器  
@RequestMapping("/tailor")   
public class UrlHandlerController \{  
// 采用路径参数方式获取url值  
 @RequestMapping("/\{url\}")  
 @ResponseBody  
 public String tailor(@PathVariable String url) \{  
  return "url: " + url;  
 \}  
   
 @RequestMapping("/\*")  
 @ResponseBody  
 public String index(Model model) \{  
  return "请输入需裁剪的网页";  
 \}  
\}

![70][]

### （2）处理有'/'的url ###

这里有个难点，当在url栏中输入：[http://localhost:8089/tailor/www.baidu.com/f][http_localhost_8089_tailor_www.baidu.com_f]  则会报错：

![70 1][]

研究它的url输入，可以看出： 这个url只能获取到最后一个 .  前的地址，而且有/的话不能识别出这个url

因此，输入的url需要有一个规范：用$$代替/，以. 结束url

比如[www.baidu.com/syny][www.baidu.com_syny] 需写成www.baidu.com$$syny

url值：[http://localhost:8089/tailor/www.baidu.com$$syny][http_localhost_8089_tailor_www.baidu.com_syny].

接收到数据：

![70 2][]

# 三、spring boot中调用python #

处理网页，用python比较方便。

## 1，java中调用python的相关知识 ##

### （1）加入dependency ###

要想在spring boot里运行python程序，在本项目中采用的是自带一个python解释器，Jython（原JPython），一个由Java语言编写的Python解释器。

<dependency>
        <groupId>org.python</groupId>
        <artifactId>jython-standalone</artifactId>
        <version>2.7.0</version>
    </dependency>

### （2）运行基本的python程序 ###

@Test  
 public void demo1() \{  
  PythonInterpreter interpreter = new PythonInterpreter();  
  interpreter.exec("print('hello syny')");  
  interpreter.close();  
 \}

![70 3][]

### （3）Failed to install '': java.nio.charset.UnsupportedCharsetException: cp0 处理 ###

在run的arguments中加入：-Dpython.console.encoding=UTF-8，再运行即可（不过运行真的很慢~~）

![70 4][]

### （4）调用python文件 ###

@Test  
 public void execFileTest() \{  
  PythonInterpreter interpreter = new PythonInterpreter();  
  interpreter.execfile("D:/test/python/hello.py");   
  interpreter.close();  
 \}

## 2，编写获取网页指定内容的python程序！ ##

思路是通过urlib2处理url请求，然后用beautiful处理html

[http_localhost_8089_tailor]: http://localhost:8089/tailor
[70]: /images/20220508/1f78c41de5914ea3877a540083e60099.png
[http_localhost_8089_tailor_www.baidu.com_f]: http://localhost:8089/tailor/www.baidu.com/f
[70 1]: /images/20220508/38db3c4153184be6a198e211326ec258.png
[www.baidu.com_syny]: http://www.baidu.com/syny
[http_localhost_8089_tailor_www.baidu.com_syny]: http://localhost:8089/tailor/www.baidu.com$$syny
[70 2]: /images/20220508/e022e16837a44a4e8c4b6a9f6753c1c3.png
[70 3]: /images/20220508/02a13e9f887647daa8e94c3c1b814f34.png
[70 4]: /images/20220508/cedb21ae74144d4c8b11e04b00c1bfab.png