2019-05-25 Python之Mongodb的使用-向日葵屋

Mongodb学习总结:　　

　　one.插入数据pass　　

　　two.查看数据pass　　

　　three.修改数据pass

　　four.数据排序pass

　　five.删除数据pass

一.安装Mongodb

　　https://www.cnblogs.com/ymzm204/p/10947055.html

二.测试Mongodb

　　（1）引入相关库

import pymongo

　　（2）连接数据库

client = pymongo.MongoClient(host='localhost', port=27017

　　（3）写入数据并且输出

import pymongo
myclient = pymongo.MongoClient(host='localhost', port=27017) #连接
my_set1 = myclient.University.test #连接University,如果没有则创建一个数据库 
my_set2 = myclient.University.test2 #连接University,如果没有则创建一个数据库 
dblist = myclient.list_database_names() #所有的数据库名字列表
print(dblist)　　　　　　　　　　　　　　#查看已有的数据库
my_set1.insert_one({
     "name":"zhangsan"}) #插入一个数据
my_set2.insert_one({
     "name":"zhangsan"})
for i in my_set1.find():
    print(i) #输出

　　（4）结果

三.实例运用——爬取中国大学排名并写入数据库，外加查询and创新

　　（1）爬取过程中到的数据写入数据库

from bs4 import BeautifulSoup
import requests
import pandas as pd
import pymongo
def client_Mongodb(port, path):
    myclient = pymongo.MongoClient(host='localhost', port=port)  # 连接
    my_set = myclient.path  # 连接path,如果没有则创建一个数据库
    return my_set
def save_mongo(result):
    myclient = pymongo.MongoClient(host='localhost', port=27017)
    my_set = myclient.University.ranking
    try:
        if my_set.product.insert_one(result): #如果保存成功
            pass#print("数据保存成功")
    except Exception:
        print("数据保存失败")
def save_list_to_Mongodb(lists):
    my_set = client_Mongodb(27017, 'University.ranking')
    product = {
        '排名': lists[0],
        '学校名称': lists[1],
        '省份': lists[2],
        '总分': lists[3],
        '生源质量（新生高考成绩得分）': lists[4],
        '培养结果（毕业生就业率': lists[5],
        '社会声誉（社会捐赠收入·千元': lists[6],
        '科研规模（论文数量·篇）': lists[7],
        '科研质量（论文质量·FWCI）': lists[8],
        '顶尖成果（高被引论文·篇）': lists[9],
        '顶尖人才（高被引学者·人）': lists[10],
        '科技服务（企业科研经费·千元': lists[11],
        '成果转化（技术转让收入·千元）': lists[12],
        '学生国际化（留学生比例）': lists[13],
        }  # 字典类型数据
    save_mongo(product)
def getHTMLText(url):
    try:
        r = requests.get(url, timeout=10)
        r.raise_for_status()
        r.encoding = 'utf-8'
        return r.text
    except:
        return ""
def filUnivList(soup):
    data = soup.find_all('tr')
    for tr in data:
        ltd = tr.find_all('td')
        if len(ltd) == 0:
            continue
        singleUniv = []
        for td in ltd:
            singleUniv.append(td.string)
        save_list_to_Mongodb(singleUniv)
def main():
    url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html'
    html = getHTMLText(url)
    soup = BeautifulSoup(html, "html.parser")
    filUnivList(soup)
    print("完成")
    for i in pymongo.MongoClient(host='localhost', port=27017).University.ranking.product.find():
        print(i)  # 输出
main()

结果：

　　（2）csv格式文件写入到Mongodb数据库中

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time   : 2018/10/21 11:31
# @Author  : deli Guo
# @Site   :
# @File   : csv文件存入mongoDB.py
# @Software  : PyCharm
# 导包
import pymongo
import csv
# 创建连接MongoDB数据库函数
def connection():
    # 1:连接本地MongoDB数据库服务
    myclient = pymongo.MongoClient("localhost")
    # 2:连接本地数据库(guazidata)。没有时会自动创建
    db = myclient.University
    # 3:创建集合
    my_set = db.ranking.product_test
    # 4:看情况是否选择清空
    my_set.delete_many({})
    return my_set #返回集合
def insertToMongoDB(my_set):
    # 打开文件guazi.csv
    with open("E://testcsv.csv", 'r') as csvfile:
        # 调用csv中的DictReader函数直接获取数据为字典形式
        reader = csv.DictReader(csvfile)
        # 创建一个counts计数一下 看自己一共添加了了多少条数据
        counts = 0
        for each in reader:
            # 将数据中需要转换类型的数据转换类型。原本全是字符串（string）。
            '''each['index']=int(each['index'])
            each['价格']=float(each['价格'])
            each['原价']=float(each['原价'])
            each['上牌时间']=int(each['上牌时间'])
            each['表显里程']=float(each['表显里程'])
            each['排量']=float(each['排量'])
            each['过户数量']=int(each['过户数量'])
            '''
            my_set.insert_one(each)
            counts += 1
            print('成功添加了'+str(counts)+'条数据 ')
# 创建主函数
def main():
    my_set = connection()
    insertToMongoDB(my_set)
# 判断是不是调用的main函数。这样以后调用的时候就可以防止不会多次调用 或者函数调用错误
if __name__=='__main__':
    main()

　　（3）查询某大学排名，查询某省份所有大学，排序X条件的大学

　　　　（one）

import pymongo
myclient = pymongo.MongoClient(host='localhost', port=27017)#连接
mydb = myclient.University #数据库
mycol = mydb.ranking.product_test #集合
myquery = {
    "学校名称": "广东技术师范大学"}
for i in mycol.find(myquery):
    print(i)

输出结果：｛’_id’: ObjectId(‘5cea018c8aac013e249fe115’), ‘’: ‘286’, ‘排名’: ‘287’, ‘学校名称’: ‘广东技术师范大学’, ‘省份’: ‘广东’,……………………..省略..}

　　　　（two）

myquery = {
    "省份": "广东"}

输出结果：

　　　　（three）降序，条件为省份为广字开头

myquery = {
    "省份": { "$regex": "广"}}
for i in mycol.find(myquery).sort("排名", -1):
    print(i)

输出：可以发现降序指按第一个数字为准，猜测原因：“排名”数据保存到数据库时候是以 str 形式保存的，为此，修改为int可能会有效下面为已经更改类型后的测试

　　（4）综合算法得出新排名并保存为一个新表

　　思路：添加新字段，同时根据算法添加新数据。

import pymongo
import re
myclient = pymongo.MongoClient(host='localhost', port=27017)
my_set = myclient.University
my_doc = my_set.ranking.product_test
#my_doc.insert_one({"name": "{}"})
weight = [0.9, 0.9, 0.8, 0.0001, 0.001, 1, 0.01, 1, 0.00001, 0.0001, 1] #权重 注意不要是str
i = 0
my_set.ranking.product_new = my_doc
for c in my_doc.find(): #所有的数据，分行获取，处理
    temp_data_list = []
    k = 0  # 设置k的初始值
    for b in c.values(): #字典里所有的值
        temp_data_list.append(b) #把值加入到列表
    temp_data_list2 = temp_data_list[5:16] #获取列表里面有用数据 第 6-15 个
    for data in range(len(temp_data_list2)):  #进一步数据处理
        if temp_data_list2[data] == '':  #把 None 补为0
            temp_data_list2[data] = '0'  #这里有个小坑，不能赋值 为0 因为下面要去除 %和其他符号，提取数字，0为int，不是str,会有错误
        temp_data_list2[data] = float(re.sub("[^\d.]", "", temp_data_list2[data])) #正则表达式中'[^\d.]'表示除了数字和.），并用""替换，然后返回的就是只剩下数字的字符串 去除有 > 号的干扰,并转换为float
        k += temp_data_list2[data] * weight[data] #算法
    b = '%.2f' % k #改为小数点后两位
    #my_doc.update_one({}, {'$unset': {'新排名': ''}})
    my_doc.update_one({
    '_id': c['_id']}, {
    '$set': {
    '新总分': b}})
    i += 1
    print("已更新{}条数据".format(i))