scrapy漫画爬虫+django页面展示项目

墨蓝 2022-04-04 12:21 198阅读 0赞

# comic #

## 这里主要包括两大部分： ##

*  [漫画爬虫，将数据储存到mysql][mysql]
 *  [漫画网站搭建，并且进行展示][Link 1]

代码已经放在GitHub上，GitHub有更详细的说明-----[传送门][Link 2]  
在线预览  
[流溪阁在线漫画][Link 3]

### 感觉还不错的请fork,star ###

![20181217130107520.png][]

![20181217130158825.png][]

![201812171302341.png][]

### 配置mysql ###

DROP TABLE IF EXISTS `comic`;
    CREATE TABLE `comic` (
     `id` int(11) NOT NULL AUTO_INCREMENT,
     `author` varchar(50) NOT NULL,
     `name` varchar(50) NOT NULL,
     `intr` varchar(500) NOT NULL,
     `cover` varchar(100) NOT NULL,
     `comic_url` varchar(100) DEFAULT NULL,
     `comic_type` varchar(20) NOT NULL,
     `comic_type2` varchar(20) NOT NULL,
     `collection` int(11) NOT NULL,
     `recommend` int(11) NOT NULL,
     `praise` bigint(20) DEFAULT NULL,
     `roast` bigint(20) NOT NULL,
     `last_update_chapter` varchar(50) NOT NULL,
     `last_update_time` datetime NOT NULL,
     `status` tinyint(1) NOT NULL DEFAULT '1',
     `add_time` datetime NOT NULL,
     `isDelete` tinyint(1) NOT NULL DEFAULT '0',
     PRIMARY KEY (`id`),
     UNIQUE KEY `unique_key` (`name`,`author`)
    ) ENGINE=InnoDB AUTO_INCREMENT=1837 DEFAULT CHARSET=utf8;

### scrapy配置mysql,在文件[/comicspider/comicscrapy/comicscrapy/settings.py][comicspider_comicscrapy_comicscrapy_settings.py]里面配置 ###

# MONGODB 主机名
    MYSQL_HOST = "127.0.0.1"
    # MONGODB 端口号
    MYSQL_PORT = 3306
    # 数据库名称
    MYSQL_DBNAME = "comic"
    # 存放数据的表名称
    MYSQL_TABLENAME = "comic"
    MYSQL_USER='root'
    MYSQL_PASSWD='123456'

### Django配置mysql,在文件[/comicweb/comicweb/settings.py][comicweb_comicweb_settings.py]里面配置 ###

DATABASES = {
        'default': {
            'ENGINE': 'django.db.backends.mysql',
            'NAME': 'comic',
            'USER': 'root',
            'PASSWORD': '123456',
            'HOST': 'localhost',
            'PORT': '3306',
        }
    }

### 代码总览 ###

![在这里插入图片描述][2018121713061116.png]

comic
    ├── comicspider
    │   ├── comicscrapy
    │   │   ├── comicscrapy
    │   │   │   ├── __init__.py
    │   │   │   ├── items.py
    │   │   │   ├── middlewares.py
    │   │   │   ├── pipelines.py
    │   │   │   ├── settings.py
    │   │   │   └── spiders
    │   │   │       ├── __init__.py
    │   │   │       ├── manhua163.py
    │   │   ├── scrapy.cfg
    │   │   ├── scrapy.log
    │   │   └── start.py
    │   └── comicspider
    │       ├── __init__.py
    │       ├── settings.py
    │       ├── spiderfactory.py
    │       └── spiders.py
    ├── comicweb
    │   ├── comic
    │   │   ├── admin.py
    │   │   ├── __init__.py
    │   │   ├── migrations
    │   │   │   ├── 0001_initial.py
    │   │   │   ├── 0002_auto_20181204_1607.py
    │   │   │   ├── 0003_auto_20181204_1818.py
    │   │   │   ├── 0004_auto_20181204_1906.py
    │   │   │   ├── 0005_auto_20181204_1909.py
    │   │   │   ├── 0006_auto_20181204_2017.py
    │   │   │   ├── __init__.py
    │   │   ├── models.py
    │   │   ├── tests.py
    │   │   ├── urls.py
    │   │   ├── views.py
    │   ├── comicspider
    │   │   ├── __init__.py
    │   │   ├── settings.py
    │   │   ├── spiderfactory.py
    │   │   ├── spiders.py
    │   ├── comicweb
    │   │   ├── __init__.py
    │   │   ├── settings.py
    │   │   ├── urls.py
    │   │   ├── wsgi.py
    │   ├── manage.py
    │   ├── start.py
    │   ├── static
    │   │   ├── comic
    │   │   │   ├── chapterContent.html
    │   │   │   ├── comicInfo.html
    │   │   │   ├── css
    │   │   │   │   ├── global.css
    │   │   │   │   ├── ...
    │   │   │   │   └── view.css
    │   │   │   ├── images
    │   │   │   │   ├── 039ac725a6d64215a61c3d8a9edf9faa.png
    │   │   │   │   ├── 14927c3dd7844200b520e910b993769e.png
    │   │   │   │   ├── ...
    │   │   │   │   └── view-logo-read.png
    │   │   │   ├── img
    │   │   │   ├── script
    │   │   │   │   ├── common.js
    │   │   │   │   ├── jquery-1.9.1.min.js
    │   │   │   │   ├── jquery.cookie.js
    │   │   │   │   ├── jquery.min.js
    │   │   │   │   ├── ...
    │   │   │   │   └── TSB.js
    │   │   │   └── test.html
    │   │   └── test
    │   │       ├── css
    │   │       │   └── toPage.css
    │   │       ├── index.html
    │   │       └── script
    │   │           ├── jquery.min.js
    │   │           └── toPage.js
    │   ├── templates
    │   │   └── comic
    │   │       ├── chapterContent.html
    │   │       ├── comicInfo.html
    │   │       ├── index.html
    │   │       ├── search.html
    │   │       └── test.html
    │   └── uwsgi.ini
    └── requirements.txt

项目源码已放置GitHub上----[传送门][Link 2]

### 希望看完给我点赞，star ###

[我的GitHub][GitHub]

[mysql]: https://github.com/LoyalWilliams/comic/tree/master/comicspider
[Link 1]: https://github.com/LoyalWilliams/comic/tree/master/comicweb
[Link 2]: https://github.com/LoyalWilliams/comic
[Link 3]: http://www.artedata.cn:8081/comic/
[20181217130107520.png]: /images/20220404/8bcb31407c6c42e2a30efe3b95e0fba1.png
[20181217130158825.png]: /images/20220404/a41281856c1845b48fa554ca7211dcee.png
[201812171302341.png]: /images/20220404/61e430a66b704a368252f543a4a09494.png
[comicspider_comicscrapy_comicscrapy_settings.py]: https://github.com/LoyalWilliams/comic/blob/master/comicspider/comicscrapy/comicscrapy/settings.py
[comicweb_comicweb_settings.py]: https://github.com/LoyalWilliams/comic/blob/master/comicweb/comicweb/settings.py
[2018121713061116.png]: /images/20220404/1e98c7b0dab84fa9b43da145a68e6698.png
[GitHub]: https://github.com/LoyalWilliams