Mongo个人笔记

拼搏现实的明天。 2022-06-16 03:21 259阅读 0赞

一、Mongo文档数据库(Gridfs磁盘之上 Bson == json的二进制化)  
特点:内部执行引擎为JS解释器.把文档存储成bson结构，在查询时，转换成json对象，并可以通过熟悉js语法来操作.

二、mongo和传统数据库相比,最大的不同:  
1、传统数据库:结构化数据库，定义好了表结构，每一行数据都样，列的数据类型都一样.  
2、文档数据库:表下面的每篇文档，没有固定的结构，可以是自己独特的属性和值.

三、安装  
下载：[http://fastdl.mongodb.org/linux/mongodb-linux-x86\_64-2.4.8.tgz][http_fastdl.mongodb.org_linux_mongodb-linux-x86_64-2.4.8.tgz]  
解压：tar -zxvf mongodb-linux-x86\_64-2.4.8.tgz  
不用编译：拷贝到/usr/local/  
目录介绍: bin  
bsondump 导出bson结构  
mongo 客户端  
mongod 服务端  
mongodump 整体数据库导出（二进制）  
mongoexport 导出json、csv结构  
mongorestore 整体数据库导入（二进制）  
mongos 路由器(分片时用)

启动服务:/usr/local/mongodb/bin/mongod --dbpath=/data/mongod17/ --logpath=/data/mongod17/mongod17.log --fork --smallfiles --port 27017
    --dbpath=/data/mongodb 
    --logpath=/data/mongodb/logs/mongodb.log 
    --auth          访问密码
    --port=27017    访问端口
    --fork          后端运行
    --smallfiles    最小运行400M
    du -h 查看空间、它非常占磁盘空间3-4G
    killall mogon   删除进程

四、常用命令  
show dbs; 查看当前数据库  
use databaseName; 选择数据库  
show collections; 查看当前数据表  
db.help(); 查看帮助

如何创建库(隐创建,可以不用创建,直接插入)
    db.createCollection('user');
    
    插入文档表
    db.user.insert({_id:1,name:'lisi',age:22});
    db.user.insert({_id:2,name:'wangbaojian',hobby:['computer','study']});
    db.user.find();
    
    删除库和表
    db.dbname.drop(); 删除数据表
    db.dropDatabase(); 删除数据库,需要先切换.

五、详细命令CURD  
增加一篇文档  
db.stu.insert(\{\_id:’001’,sn:’001’,name:’xiaoming’\});

增加多篇文档
    db.user.insert([
    {_id:1,name:'zhangsan',sex:'1',xueli:'dazhuan'},
    {_id:2,name:'lisi',sex:'1',xueli:'dazhuan'},
    {_id:3,name:'wangwu',sex:'0',xueli:'benke'}
    ]);
    
    删除文档
    db.user.remove();
    注意：1、查询表达式依然是json对象；
          2、查询表达式的匹配行被删掉；
          3、如果没有查询表达式，collections中的所有文档被删除；
    db.user.remove({sex:'1'},true/false); 第二个参数如果为真，则只删一行.
    
    修改文档
    db.user.update({name:'zhansan'},{name:'zhangsantongxue'}); 除了ID以外，旧文档替换了新的文档.
    db.user.update({name:'lisi'},{$set:{name:'lisitongxue'}});
    db.user.update{
       {name:'lisi'},$set:{},$unset:{},$rename:{},$incr:{}}
    $set     修改某个列的值 >>db.user.update({name:'lisi'},{$set:{name:'lisitongxue'}},true); 修改时候命中多行，也只改一行，除非第三个参数为true.
    $unset   删除某个列     >>db.stu.update({_id:3},{$unset:{shcool:"zhejiang"}});
    $rename  重命名某个列   >>db.stu.update({_id:3},{$rename:{name:'xname'}});
    $incr    增长某个列的值 >>db.stu.update({_id:4},{$inc:{sex:10}});
    >>db.user.update({name:'lisi'},{$set:{name:'lisitongxue'}},{upsert:true}); 如果存在修改，不存在进行添加.
    $setOnInsert  当修改值成功，可以补充一些字段
    
    查询文档
    db.user.find(); 查询所有的行
    db.user.find({},{}) 查询表达式、查询的列值0/1

六、查询表达式  
db.shop.find().count();

>>比较运算符
    
    主键为13的商品
    db.shop.find({goods_id:13});
    
    不属第3的所有商品($ne)
    db.shop.find({goods_id:{$ne:3}},{goods_id:1,_id:0,goods_name:1})
    
    其他判断关键字
    $ne   不等于
    $gt   大于
    $lt   小于
    $gte  大于等于
    $lte  小于等于
    
    包含的数值
    $in   in     
    db.shop.find({goods_id:{$in:[10,11]}},{_id:0,goods_id:1,goods_name:1})
    
    不包含的数值
    $nin  not in
    db.shop.find({goods_id:{$nin:[1,3]}},{_id:0,goods_id:1,goods_name:1});
    
    指数组所有值
    $all  
    db.user.find({hobby:{$all:[1]}},{_id:0,name:1,passwd:1,$hobby:1});
    
    >>逻辑运算符
    
    与
    $and  and
    db.shop.find({$and:[
    {goods_id:{$gte:1}},
    {goods_id:{$lte:10}}
    ]},{_id:0,goods_id:1,goods_name:1}) 
    
    db.shop.find({$and:[
    {goods_id:{$ne:1}},
    {goods_id:{$ne:3}}
    ]},{_id:0,goods_id:1,goods_name:1})
    
    或
    $or   or
    db.shop.find({$or:[
    {goods_id:12},
    {goods_id:1}
    ]},{_id:0,goods_id:1,goods_name:1})
    
    非
    $not  not
    
    所有列举条件都不成立为真    
    $nor  
    db.shop.find({$nor:[ 
    {goods_id:12}, 
    {goods_id:1} 
    ]},{_id:0,goods_id:1,goods_name:1})
    
    某列存在则为真
    $exists
    db.shop.find(
    {goods_id:{$exists:1}},
    {_id:0,goods_id:1,goods_name:1})
    
    满求余条件为真
    $mod
    db.shop.find({goods_id:
    {$mod:[5,0]}
    },{_id:0,goods_id:1,goods_name:1})
    
    数据为某类为真
    $type
    db.shop.find({goods_name:
    {$type:2}
    },{_id:0,goods_id:1,goods_name:1})

七、游标操作  
插入数据  
for(var i=0;i<10000;i++)\{db.bar.insert(\{\_id:i,title:’hellow’,content:’word’+i\})\};

声明游标
    var mycusor = db.bar.find({_id:{$lte:5}});
    print(mycusor.next());
    
    while打印案例
    while(mycusor.hasNext()){
          printjson(mycusor.next());
    }
    
    for循环
    for(var mycusor = db.bar.find({_id:{$lte:5}});mycusor.next();){
         printjson(mycusor.next());
    }
    
    forEach循环,回调函数
    var mycusor = db.stu.find();
    mycusor.forEach(function(obj){printjson(obj)});
    
    分页的应用skip() limit()
    每页n行，当前page页，跳过（page-1）* 行
    var mycusor = db.stu.find().skip(800).limit(10);
    while(mycusor.hasNext()){
          printjson(mycusor.next());
    }
    
    直接返回结果(资源大)
    var mycusor = db.stu.find().skip(800).limit(10);
    mycusor.toArray();

七、索引操作  
解释执行计划  
db.find(query).explain(); >>db.stu.find().skip(0).limit(10).explain();  
“cursor” : “BasicCursor”, 没有索引列  
“nscannedObjects” : 10, 理论扫描行  
查看当前索引  
db.stu.getIndexes();

创建索引
    db.stu.ensureIndex({title:1}); -/+ 1正序/倒序
    
    删除索引
    db.stu.dropIndex({title:1});     删除指定
    db.stu.dropIndexes();            删除所有
    
    多列索引
    db.stu.ensureIndex({a:1,b:1...});
    
    子文档索引及查询
    db.user.insert({_id:3,name:'lili',hobby:{yundong:'yumaoqiu',yule:'kandianshi'}})
    db.user.find({'hobby.yule':'kandianshi'});  查询子文档  
    db.stu.ensureIndex('hobby.yule':1);
    
    索引性质
    普通索引（包含空值）
    
    唯一索引
    db.user.ensureIndex({name:1},{unique:true});
    
    稀疏索引（不包含空）
    db.user.ensureIndex({name:1},{sparse:true});
    
    哈希索引（理论1次命中，但不适合范围.2.4新增的功能）
    db.user.ensureIndex({name:'hashed'});
    
    重建索引（多次修改会产生空洞）
    db.stu.reindex;
    
    删除索引
    db.stu.dropIndexes();删除所有

八、用户管理

1、切换到admin数据库
       use admin
    
    2、添加超级管理员
       db.addUser('sa','shunjian','false');用户名、密码、是否只读
       给其他库添加用户需要使用管理员身份切换到其他库
       db.addUser('web','123456','false');
    
    3、关闭所有进程killall mongod 
    
    4、权限验证--auth
    /usr/local/mongodb/bin/mongod --dbpath=/data/mongod17/ --logpath=/data/mongod17/mongod17.log --auth --port=27017 --fork --smallfiles
    
    5、登入认证
       use admin
       db.auth('sa','shunjian');
    
    6、修改用户密码
       db.changeUserPassword('sa','newpasswd');
    
    7、修改用户密码
       db.removeUser('sa');
    
    8、用户权限（细分角色管理,dba的工作了）

九、导入导出  
导出参数  
\-h 主机  
\-port 端口  
\-u 用户名  
\-p 密码

mongoexport -d [库] -c [表] -f 列1,列2 -q [条件] -o ./stu.json
     -d 库名
     -c 表名
     -f 列名
     -q 条件
     -o 路径
     --cvs 导出csv格式（便于和传统数据库交换数据）
    
     >>导出json
     ./mongoexport -h 192.168.0.174 -port 27017 -u www -p 321 -d test -c stu -f _id,title,content -q '{_id:{$lte:1000}}' --json -o ./stu.json  
    
     >>导入json
     ./mongoimport -h 192.168.0.174 -port 27017 -u www -p 321 -d test -c stu --type json --file ./stu.json
    
     >>导出csv
     ./mongoexport -h 192.168.0.174 -port 27017 -u www -p 321 -d test -c stu -f _id,title,content -q '{_id:{$lte:1000}}' --csv -o ./stu.csv
    
     >>导入csv
     ./mongoimport -h 192.168.0.174 -port 27017 -u www -p 321 -d test -c stu -f _id,title,content --headerline --type csv --file ./stu.csv
    
     导出二进制
     ./mongodump -h 192.168.0.174 -port 27017 -u www -p 321 -d test -c stu -o ./
    
     导入二进制
     ./mongorestore -d test -c stu --directoryperdb /usr/local/mongodb/bin/test/

3、创建目录(数据、日志)
       rm -rf /data/mongodb* && mkdir -p /data/mongodb17 /data/mongodb18 /data/mongodb19 /data/mongodb17/logs/ /data/mongodb18/logs/ /data/mongodb19/logs/
    
    4、启动三个实例(声明实例属于某个复制集)--replset
       /usr/local/mongodb/bin/mongod --dbpath=/data/mongodb17 --logpath=/data/mongodb17/logs/mongodb17.log --port=27017 --fork --smallfiles --replSet rs2
       /usr/local/mongodb/bin/mongod --dbpath=/data/mongodb18 --logpath=/data/mongodb18/logs/mongodb18.log --port=27018 --fork --smallfiles --replSet rs2
       /usr/local/mongodb/bin/mongod --dbpath=/data/mongodb19 --logpath=/data/mongodb19/logs/mongodb19.log --port=27019 --fork --smallfiles --replSet rs2
    
    5、配置
    var rsconf = {
    _id:'rs2',
    members:[
        {
            _id:0,
            host:'192.168.0.174:27017'
        },
        {
            _id:1,
            host:'192.168.0.174:27018'
        },
        {
            _id:2,
            host:'192.168.0.174:27019'
        }
    ]}
    6、根据配置进行初始化
    rs.initiate(rsconf);
    
    5、查看状态
    rs.status(); 
    
    8、删除节点
    rs.remove('192.168.0.174:27018');
    
    9、添加节点
    配置(执行步骤5)
    rs.reconfig(rsconf);
    
    10、让从服务器可以读
    rs.slaveOk();
    
    11、关闭服务器
    db.shutdownServer();
    
    12、帮组rs.help();
    
    13、脚本
    #!/bin/bash
    NA="rs2"
    IP="192.168.0.174"
    
    if [ "$1" == "reset" ]; then
        killall mongod
        rm -rf /data/m*
        mkdir -p /data/mongodb17 /data/mongodb18 /data/mongodb19 /data/mongodb17/logs/ /data/mongodb18/logs/ /data/mongodb19/logs/
    elif [ "$1" == "install" ]; then
        /usr/local/mongodb/bin/mongod --dbpath=/data/mongodb17 --logpath=/data/mongodb17/logs/mongodb17.log --port=27017 --fork --smallfiles --replSet ${NA}
        /usr/local/mongodb/bin/mongod --dbpath=/data/mongodb18 --logpath=/data/mongodb18/logs/mongodb18.log --port=27018 --fork --smallfiles --replSet ${NA}
        /usr/local/mongodb/bin/mongod --dbpath=/data/mongodb19 --logpath=/data/mongodb19/logs/mongodb19.log --port=27019 --fork --smallfiles --replSet ${NA}
        /usr/local/mongodb/bin/mongo << EOF
    use admin
    var rsconf = {
         _id:"rs2",
         members:[
                 {_id:0,host:"${IP}:27017"},
                 {_id:1,host:"${IP}:27018"},
                 {_id:2,host:"${IP}:27019"}
    ]}
    rs.initiate(rsconf);
    EOF
    else
         echo "this is error"
    fi

十一、数据shard分片(mongos)

>>原理图
                                                 shard1(片一)
    
    
     mongos               configsvr
     路由器     （不存储数据,存储数据上的片信息） 
    
    
    
                                                 shard2(片二)
    >>说明
    1、要有N且N>=2个mongod服务做片节点.
    2、要有configsvr维护mata原信息.
    3、要启动mongos做路由.
    4、要设定好数据的分片规则(configsvr才能维护).
    5、先往一个shard插入数据，当失衡的时候，移动chunk，会造成磁盘IO增高.
    #!/bin/bash
    IP="192.168.0.174"
    if [ "$1" == "reset" ]; then
    killall mongod
    rm -rf /data/m*
    mkdir -p /data/mongodb17/logs /data/mongodb18/logs /data/mongodb99/logs /data/mongodb30000/logs
    elif [ "$1" == "install" ]; then
    /usr/local/mongodb/bin/mongod --dbpath=/data/mongodb17 --logpath=/data/mongodb17/logs/mongodb17.log --port 27017 --smallfiles --fork
    /usr/local/mongodb/bin/mongod --dbpath=/data/mongodb18 --logpath=/data/mongodb18/logs/mongodb18.log --port 27018 --smallfiles --fork
    /usr/local/mongodb/bin/mongod --dbpath=/data/mongodb99 --logpath=/data/mongodb99/logs/mongodb99.log --port 27099 --smallfiles --configsvr --fork
    /usr/local/mongodb/bin/mongos --logpath=/data/mongodb30000/logs/mongodb30000.log --port 30000 --fork --configdb ${IP}:27099
    /usr/local/mongodb/bin/mongo -port 30000 << EOF
         sh.addShard("${IP}:27017")
         sh.addShard("${IP}:27018")
         sh.enableSharding('test')
         sh.shardCollection('test.user',{userid:1})
         use config
         db.settings.save({_id:'chunksize',value:2})
     EOF
    else
         echo "this is error"
    fi   
     5、添加要分片的规则
     sh.enableSharding("test")
     sh.shardCollection("test.user",{userid:1})
    
     6、修改chunk的默认大小默认64m
     use config
     db.settings.find();
     db.settings.save({_id:'chunksize',value:1})

36  
十二、手工分片  
sh.enableSharding(“test”)  
sh.shardCollection(“test.user”,\{userid:1\})  
for(var i=1;i<=79;i++)\{ sh.splitAt(‘test.user’,\{userid:i\*1000\}) \}

第八天的课程

一、复制集与分片的结合思路  
mongos(A)  
port:30000  
|  
|  
configsvr(A)  
port:27020  
|  
|  
B复制集RS3 C复制集RS4

> > 27017 >>27017  
> > 27018 27018  
> > 27019 27019

[http_fastdl.mongodb.org_linux_mongodb-linux-x86_64-2.4.8.tgz]: http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.4.8.tgz