Portia可视化爬虫部署

柔情只为你懂 2022-06-06 01:26 282阅读 0赞

## 安装 ##

如果是 ubuntu14.04 可以参考  
[可视化爬虫Portia安装和部署踩过的坑][Portia]

如果是 ubuntu16.04 ，尝试过本地安装，但是因为老是提示 apt-get 安装错误：

Err:15 http://ppa.launchpad.net/beineri/opt-qt551-trusty/ubuntu xenial/main amd64 Packages
      404  Not Found
    Ign:16 http://ppa.launchpad.net/beineri/opt-qt551-trusty/ubuntu xenial/main i386 Packages
    Ign:17 http://ppa.launchpad.net/beineri/opt-qt551-trusty/ubuntu xenial/main all Packages
    Ign:18 http://ppa.launchpad.net/beineri/opt-qt551-trusty/ubuntu xenial/main Translation-en_US
    Ign:19 http://ppa.launchpad.net/beineri/opt-qt551-trusty/ubuntu xenial/main Translation-en

没办法，只能 docker 安装

sudo apt-get install docker.io
    sudo apt-get install python-pip
    pip install docker-compose
    
    启动 docker
    docker run -d -v /data/workspace/portia/portia_projects:/app/slyd/data:rw -p 9001:9001 --name portia-2.0.5 scrapinghub/portia:portia-2.0.5
    
    注意：
    其中的 /data/workspace/portia/portia_projects 路径是在本地的创建项目的文件夹
    而 /app/slyd/data 是 docker 运行中镜像内的文件夹路径

如果一切顺利，那么可以在 9001 端口看到网页

lsof -i:9001 查看 9001 端口
    COMMAND    PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
    docker-pr 5277 root    4u  IPv6 163606      0t0  TCP *:9001 (LISTEN)

参考：  
[博客][Link 1]

[Portia]: http://www.cnblogs.com/ginponson/p/7102411.html
[Link 1]: http://www.cnblogs.com/kfpa/p/Portia.html

发表评论取消回复

表情：

评论列表（有 0 条评论，282人围观）

还没有评论，来说两句吧...

相关阅读

相关 python爬虫实战——数据可视化

当涉及到Python爬虫和数据可视化的实战时，我们通常会使用爬虫库（如Requests或Scrapy）来从网页上获取数据，然后使用数据可视化库（如Matplotlib、Seab

曾经终败给现在/ 2024年03月23日 21:48/ 0 赞/ 62 阅读

相关 Redis可视化

Redis可视化工具是哪个在Protege中应该是不能编辑OWL代码的，只能由所创建的概念模型生成或导出OWL、RDF代码。如果想直接编辑OWL代码，可以使用其他的编辑

亦凉/ 2023年09月25日 11:03/ 0 赞/ 94 阅读

相关 Python爬虫实战-数据可视化

本文您将学到的东西包括： scrapy爬虫的设置 requests（一个用来发送HTTP请求的简单库） BeautifulSoup（一个从HTML和XML中

Dear 丶/ 2023年07月14日 05:40/ 0 赞/ 22 阅读

相关 Day3.数据可视化-- 可视化基础

可视化主要是以图像来展示数据间的关系，常见的图形种类有折线图,散点图,条形图，直方图，饼图。此外在接下来课程中还会用到箱线图，热力图，蜘蛛图，表示二元变量分布和成对关系的视图

偏执的太偏执、/ 2023年03月12日 07:26/ 0 赞/ 16 阅读

相关网络可视化

[caffe中如何可视化cnn各层的输出][caffe_cnn] [faster rcnn修改demo.py保存网络中

「爱情、让人受尽委屈。」/ 2022年07月13日 05:28/ 0 赞/ 456 阅读

相关 Portia可视化爬虫部署

安装如果是 ubuntu14.04 可以参考 [可视化爬虫Portia安装和部署踩过的坑][Portia] 如果是 ubuntu16.04 ，尝试过本地安装，但是

柔情只为你懂/ 2022年06月06日 01:26/ 0 赞/ 283 阅读

相关 scrapy爬虫项目的部署以及可视化管理

一、介绍在这里使用的是scrapyd部署，scrapyd-deploy进行打包，spiderkeeper进行项目可视化管理。spiderkeeper是开源的spider

素颜马尾好姑娘i/ 2022年02月18日 23:07/ 0 赞/ 257 阅读

相关 python 可视化监控爬虫状态

今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中，也会好奇自己养的爬虫一分钟可以爬多少页面，多大的数据量，当然查询的方式多种多样。今天我来讲一种可

忘是亡心i/ 2021年12月04日 00:19/ 0 赞/ 455 阅读

相关 python可视化

1. matplotlib画图 import numpy as np import matplotlib.pyplot as plt x=np.ara

ゝ一世哀愁。/ 2021年11月04日 13:38/ 0 赞/ 570 阅读

相关 kubernetes部署dashboard可视化插件

： \[centos@k8s-master ~\]$ vim dashboard-adminuser.yaml apiVersion: v1 kind: Servic

àì夳堔傛蜴生んèń/ 2021年10月13日 02:57/ 0 赞/ 442 阅读