Springboot集成MongoDb(四)

冷不防 2022-03-01 01:08 603阅读 0赞

**目录**

一、MongoDb

1.1 MongoDb简介

1.2 传统数据库

1.3、MongoDB的特点

1.4、MongoDB适用场景

1.5、MongoDb的优缺点

1.6、MongoDb和Redis的比较

二 、MongoDb基础配置

2.1实体Bean

2.2 Service操作

2.3 Controller

2.4 测试

三、mongoTemplate介绍

3.1 查询

3.2 新增

3.3 修改

3.4 删除

四、常见问题

4.1、count统计结果错误

4.2、restore数据到新DB时，不要去先建索引

4.3、从shell中更新/写入到文档的数字，会变为float类型

4.4、ERROR: child process failed ,exited with error number 1

4.5、Decimal转换成BsonValue值异常

4.6、MONGO Replica 频繁插入大数据的问题

五、源码地址

--------------------

## **一、MongoDb** ##

### **   1.1 MongoDb简介** ###

>        MongoDB是一个基于分布式文件存储的数据库。由C++语言编写,旨在为web应用提供可扩展的高性能数据存储解决方案。
> 
>        MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。最大的特点是它支持的查询语言非常强大，支持类sql查询，可以一个key多value内容，可以组合多个value内容来查询，支持索引，支持联合索引，支持复杂查询，支持排序。且自带Sharding模式和Replica Set模式，支持分片模式、复制模式、自动故障处理、自动故障转移、自动扩容、全内容索引、动态查询等功能。

--------------------

### **   1.2 传统数据库** ###

>       传统的关系数据库一般由数据库（database）、表（table）、记录（record）三个层次概念组成，MongoDB是由数据库（database）、集合（collection）、文档对象（document）三个层次组成。MongoDB对于关系型数据库里的表，但是集合中没有列、行和关系概念，这体现了模式自由的特点。

<table> 
 <tbody> 
  <tr> 
   <td style="width:443px;">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;MySql</td> 
   <td style="width:474px;">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; MongoDB</td> 
  </tr> 
  <tr> 
   <td style="width:443px;">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 数据库</td> 
   <td style="width:474px;">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;数据库</td> 
  </tr> 
  <tr> 
   <td style="width:443px;">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 表</td> 
   <td style="width:474px;">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;集合</td> 
  </tr> 
  <tr> 
   <td style="width:443px;">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 行</td> 
   <td style="width:474px;">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;文档</td> 
  </tr> 
 </tbody> 
</table>

--------------------

###    1.3、MongoDB的特点 ###

>     1.MongoDB是一个独立的服务器。如MySQL或PostreSQL一样，MongoDB提供侦听端口以便接入。它提供了用于查询，创建，更新和删除的工具。从理论上讲，你使用它的工作方式相同：连接，执行任务并关闭连接。
> 
>     2.它是基于文档的，而不是基于表格的。MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档，数组及文档数组。
> 
>     3.它是非结构化的。MongoDB没有很多查询语句。在大多数情况下，只需给它一个数组指定你想要的信息，然后它会给你返回文档的数组。如果你想运行一些非常复杂的查询(如Map-Reduce操作)，可以向MongoDB传递JavaScript，其内部的JavaScript引擎可以解析这个脚本。
> 
>     4.高性能、易部署、易使用，存储数据非常方便。
> 
>     5.支持完全索引，包含内部对象。
> 
>     6.它具有强大的主流开发语言支持，如C\#、C++、Java、PHP、Perl、Python、Ruby。

--------------------

###    1.4、MongoDB适用场景 ###

>     1、京东,中国著名电商,使用MongoDB存储商品信息,支持比价和关注功能。
> 
>     2、赶集网,中国著名分类信息网站,使用MongoDB记录pv浏览计数
> 
>     3、奇虎360,著名病毒软件防护和移动应用平台,使用MongoBD支撑的HULK平台每天接受200亿次的查询。
> 
>     4、百度云,使用MongoDB管理百度云盘中500亿条关于文件源信息的记录。
> 
>     5、CERN，著名的粒子物理研究所，欧洲核子研究中心大型强子对撞机的数据使用MongoDB。
> 
>     6、纽约时报，领先的在线新闻门户网站之一，使用MongoDB。
> 
>     7、sourceforge.net，资源网站查找，创建和发布开源软件免费，使用MongoDB的后端存储。

###    1.5、MongoDb的优缺点  ###

**    优点：**

> 1.  文档结构的存储方式，能够更便捷的获取数据
> 2.  内置GridFS，支持大容量的存储
> 3.  内置Sharding，分片简单
> 4.  [海量数据][Link 1]下，性能优越
> 5.  支持复制集、主备、互为主备、自动分片等特性

**    缺点：**

> 1.  不支持事务操作
> 2.  磁盘空间占用比较大
> 3.  MongoDB没有如MySQL那样成熟的维护工具
> 4.  无法进行关联表查询，不适用于关系多的数据
> 5.  复杂聚合操作通过mapreduce创建，速度慢
> 6.  模式自由，自由灵活的文件存储格式带来的数据错误

--------------------

###    1.6、MongoDb和Redis的比较 ###

> 1.  mongoDB源码语言是C++,redis也是C或C++,
> 2.  mongodb文件存储是BSON格式类似JSON，或自定义的二进制格式。
> 3.  mongodb与redis性能都很依赖内存的大小，mongodb 有丰富的数据表达、索引；最类似于关系数据库，支持丰富的查询语言，redis数据丰富，较少的IO ，这方面mongodb优势明显。
> 4.  mongodb不支持事物，靠客户端自身保证，redis支持事物，比较弱，仅能保证事物中的操作按顺序执行，这方面 redis优于mongodb。
> 5.  mongodb对海量数据的访问效率提升，redis 较小数据量的性能及运算,这方面 mongodb性能优于redis .monbgodb 有mapredurce功能，提供数据分析，redis 没有 ，这方面 mongodb优于redis 。

--------------------

## 二 、MongoDb基础配置 ##

> **温馨提示：**测试之前请确保安装mongodb，安装地址请移步：https://blog.csdn.net/xuforeverlove/article/details/88344213

###    2.1实体Bean ###

public class User {
        @Id
        private String id;
        //用户名
        private String userName;
        //密码
        private String passWord;
        //邮箱
        private String email;
        //昵称
        private String nickName;
        //年龄
        private Integer age;
        //创建时间
        private Date createTime;
        //修改时间
        private Date updateTime;
        //省略get set
    
    }

> 其中:@Id注解设置自定义的主键名及类型，不设置的情况下mongodb默认使用ObjectId类型的主键，需要注意的是不管哪种形式，在库中都是以\_id的key名来储存的。

###    2.2 Service操作 ###

@Service
    public class UserMongoDbService {
        private static final Logger logger = LoggerFactory.getLogger(UserMongoDbService.class);
        @Autowired
        private MongoTemplate mongoTemplate;
    
        /**
         * 保存对象
         *
         * @param user
         * @return
         */
        public String saveObj(User user) {
            logger.info("--进入保存对象方法--");
            user.setCreateTime(new Date());
            user.setUpdateTime(new Date());
            User u = mongoTemplate.save(user);
            logger.info(u.toString());
            return "添加成功";
        }
    
        /**
         * 查询所有
         *
         * @return
         */
        public List<User> findAll() {
            logger.info("--进入查询所有方法--");
            return mongoTemplate.findAll(User.class);
        }
    
    
        /***
         * 根据id查询
         * @param id
         * @return
         */
        public User getUserById(String id) {
            logger.info("--进入根据id查询方法--");
            Query query = new Query(Criteria.where("_id").is(id));
            return mongoTemplate.findOne(query, User.class);
        }
    
        /**
         * 根据名称查询
         *
         * @param name
         * @return
         */
        public User getUserByName(String name) {
            logger.info("--进入根据名称查询方法--");
            Query query = new Query(Criteria.where("userName").is(name));
            return mongoTemplate.findOne(query, User.class);
        }
    
        /**
         * 更新对象
         *
         * @param User
         * @return
         */
        public String updateUser(User User) {
            logger.info("--进入更新对象方法--");
            Query query = new Query(Criteria.where("_id").is(User.getId()));
            Update update = new Update().set("userName", User.getUserName())
                    .set("passWord", User.getPassWord())
                    .set("email", User.getEmail())
                    .set("nickName", User.getNickName())
                    .set("age", User.getAge())
                    .set("updateTime", new Date());
            //updateFirst 更新查询返回结果集的第一条
            mongoTemplate.updateFirst(query, update, User.class);
            //updateMulti 更新查询返回结果集的全部
            //mongoTemplate.updateMulti(query,update,User.class);
            //upsert 更新对象不存在则去添加
            //mongoTemplate.upsert(query,update,User.class);
            return "success";
        }
    
        /**
         * 根据id删除
         *
         * @param id
         * @return
         */
        public String deleteUserById(String id) {
            logger.info("--进入根据id删除方法--");
            //findOne
            User user = getUserById(id);
            if (null == user) {
                return "fail";
            }
            //delete
            mongoTemplate.remove(user);
            return "success";
        }
    }

###    2.3 Controller ###

@RestController
    @RequestMapping("userMongo")
    public class UserController {
        @Autowired
        private UserMongoDbService userMongoDbService;
    
        @PostMapping("/save")
        @ResponseBody
        public String saveObj(User user) {
            return userMongoDbService.saveObj(user);
        }
    
        @GetMapping("/findAll")
        public List<User> findAll() {
            return userMongoDbService.findAll();
        }
    
        @GetMapping("/findOne")
        public User findOne(@RequestParam String id) {
            return userMongoDbService.getUserById(id);
        }
    
        @GetMapping("/findOneByName")
        public User findOneByName(@RequestParam String userName) {
            return userMongoDbService.getUserByName(userName);
        }
    
        @PostMapping("/update")
        @ResponseBody
        public String update(User user) {
            return userMongoDbService.updateUser(user);
        }
    
        @GetMapping("/delById")
        public String delById(@RequestParam String id) {
            return userMongoDbService.deleteUserById(id);
        }
    }

###    2.4 测试  ###

通过工具postman可以进行测试。为了大家方便学习操作，我简单做了个增删改查的页面。

启动项目后，输入[http://localhost:8888/index][http_localhost_8888_index]进入首页，目前是没有数据的，如下所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Zm9yZXZlcmxvdmU_size_16_color_FFFFFF_t_70][]

**2.4.1**  点击添加按钮，进入添加的页面，依次输入。然后保存

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Zm9yZXZlcmxvdmU_size_16_color_FFFFFF_t_70 1][]

保存成功后，返回首页，这时就能看到新增的信息了。

![2019032213092516.png][]

打开Robo 3T连接本地MongoDB查看新增的数据信息

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Zm9yZXZlcmxvdmU_size_16_color_FFFFFF_t_70 2][]

这样新增就完成了。其他的操作就不一一测试了，大家可以点点试试。

**2.4.2 注意**

>     按上述使用后会发现，对数据库操作多个对象时，每一个对象Service都需要写一套增删查改的方法，这大大增加了代码的冗余。可以将mongoDB常用的CURD操作封装为通用的父类，然后在不同的业务场景下继承该类，通过泛型和反射获取到正在操作的实体类。

**  本文就不说明类具体的CURD改造了，想要了解请下载源码demo自行查看。**

--------------------

##  三、mongoTemplate介绍 ##

> **MongoTemplate **是数据库和代码之间的接口，对数据库的操作都在它里面。它是MongoTemplate是线程安全的。
> 
> **Criteria **对象代表的是查询条件
> 
> **Query **对象代表本次查询：包含查询条件和分页、排序等

###    3.1 查询 ###

① findAll(Class<T>entityClass,String collectionName)

> 分析：此方法入两个参数，前者entityClass是类类型 即某个实体类，后者collectionName是String类型
> 
> 即MongoDB的某个集合名，那么这个方法很明显就是根据入参的集合名称到MongoDB中查询并转换为指定的类类型。
> 
> 注：entityClass参数的写法应为 xxx.class ，如User用户类：User.class

② find(Query query,Class<T>entityClass,String collectionName)

> 分析：此方法三个参数，与①不同的是，多了第一个query参数，这个query就是用来封装查询条件的。

//条件查询1，多条件is("值")后面可以加and("字段2").is("值2")
     Query query=new Query(Criteria.where("字段1").is("值1"));
     return mongoTemplate.find(query, Object.class);

###    3.2 新增 ###

**   ①I****nsert**("实体对象","集合名");往集合插入数据的方式  //插入后id字段会被赋值，可以检查id是否为空来判断是否插入成功

**   ②save**(对象，集合名（可省略）); //参数必须是对象

**   区别：**

> **插入重复数据**
> 
>    insert: 若新增数据的主键已经存在，则会抛 org.springframework.dao.DuplicateKeyException 异常提示主键重复，不保存当前数据。 
> 
>    save: 若新增数据的主键已经存在，则会对当前已经存在的数据进行修改操作。

> **批操作**
> 
> insert: 可以一次性插入一整个列表，而不用进行遍历操作，效率相对较高 
> 
> save: 需要遍历列表，进行一个个的插入

**   总结： **

> insert 可以理解 就是 插入 操作；如果主键存在，则抛异常；
> 
> save 可以理解为 插入或 更新；如果 \_id 的值 存在就更新，不存在就插入。

###    3.3 修改 ###

*   *① updateFirst 更新查询返回结果集的第一条

mongoTemplate.updateFirst(query, update, User.class);

*   *②* *updateMulti 更新查询返回结果集的全部

mongoTemplate.updateMulti(query,update,User.class);

*   *③ upsert 更新对象不存在则去添加

mongoTemplate.upsert(query,update,User.class);

###    3.4 删除 ###

① 删除username为的数据hello

Query query = Query.query(Criteria.where("username").is("hello"));
    mongoTemplate.remove(query, User.class);

② 指定集合名进行删除 如果实体类中没配集合名词，可在删除的时候单独指定userlist

query = Query.query(Criteria.where("username").is("hello"));
    mongoTemplate.remove(query, "userlist");

--------------------

###  四、常见问题 ###

###    4.1、count统计结果错误 ###

> 这是由于分布式集群正在迁移数据，它导致count结果值错误，需要使用aggregate pipeline来得到正确统计结果。例如：
> 
> db.collection.aggregate(\[\{$group:\{\_id:null,count:\{$sum:1\}\}\}\])

###    4.2、restore数据到新DB时，不要去先建索引 ###

> 把bson数据文件restore到另一个DB时，需要注意：不能先创建索引再restore数据，否则性能极差，mongorestore工具默认会在restore完数据时，根据dump出来的index信息创建索引，无须自己创建，如果是要更换索引，也应该在数据入库完之后再创建。

###    4.3、从shell中更新/写入到文档的数字，会变为float类型 ###

> shell中的数字都被MongoDB当作是双精度数。这意味着如果你从数据库中获得的是一个32位整数，修改文档后，将文档存回数据库的时候，这个整数也就被换成了浮点数，即便保持这个整数原封不动也会这样的。

###    4.4、ERROR: child process failed ,exited with error number 1 ###

> dbpath文件的权限问题,增加写权限即可

###    4.5、Decimal转换成BsonValue值异常 ###

> BsonValue 暂不支持 Decimal类型，转换前强制转换类型，如果用MongoDB，最好不要用decimal类型，否则在序列化的时候也有问题，可用double。

###    4.6、MONGO Replica 频繁插入大数据的问题 ###

> 当在复制集中频繁插入大数据时有可能出现“error RS102 too stale to catch up"，出现这个错误的原因是SECONDARY即副节点的复制速度跟不上了，当需要批量频繁向副本集中写入数据时最好先移除副本节点，待插入完后重新同步。

--------------------

# 五、源码地址 #

[https://github.com/xuhuaguang/springboot-mongodb.git][https_github.com_xuhuaguang_springboot-mongodb.git]

[Link 1]: https://www.baidu.com/s?wd=%E6%B5%B7%E9%87%8F%E6%95%B0%E6%8D%AE&tn=24004469_oem_dg&rsv_dl=gh_pl_sl_csd
[http_localhost_8888_index]: http://localhost:8888/index
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Zm9yZXZlcmxvdmU_size_16_color_FFFFFF_t_70]: /images/20220301/1783ef1ff5f345e798948560d2b9e5f1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Zm9yZXZlcmxvdmU_size_16_color_FFFFFF_t_70 1]: /images/20220301/b73df668085147908753a0cf28e53a4f.png
[2019032213092516.png]: /images/20220301/e34fc505d3d54fa69c818899e4439124.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1Zm9yZXZlcmxvdmU_size_16_color_FFFFFF_t_70 2]: /images/20220301/7b055311539d487daa46951d7795983a.png
[https_github.com_xuhuaguang_springboot-mongodb.git]: https://github.com/xuhuaguang/springboot-mongodb.git