从零开发一个简单的搜索引擎-公共模块

系统管理员 2021-11-17 11:42 223阅读 0赞

> 为了让项目尽可能的解耦和，把项目中大多数模块都用到的自定义功能函数以及和模块具体业务无关的函数以 `header-only`的形式封装成一个头文件，其他模块需要使用这些函数，直接包含这个头文件即可。这个头文件也算是可以自成半个模块吧。  
>   
> 注：这半个模块是在开发其他模块的过程中不断添加代码的，在这里博主将这个模块最终所包含的函数这里全部列举出来，方便读者理解。

## 一、字符串 ##

--------------------

### 1. 字符串的无损切割 ###

这里用到了[boost库中的split函数][boost_split]。

void Split(const std::string& input, 
               std::vector<std::string>* output, const std::string& split_char) { 
        boost::split(*output, input, boost::is_any_of(split_char), boost::token_compress_off);   
    }

### 2. 找到当前句子的开始位置 ###

//参数说明
    //content：当前文档
    //first_pos：需要查询的词在当前文档第一次出现的位置
    int32_t FindSentenceBeg(const std::string& content, int32_t first_pos){ 
        for(auto i = first_pos; i >= 0; --i){ 
            //如果当前位置是一个句子的分隔符，并且当前位置的下一位置为空格，那么就返回下一位置作为句子的开始
            //TODO：这块的逻辑还可以再细化一些
            if(';' == content[i] || ',' == content[i] || '?' == content[i] || 
               '!' == content[i] || '.' == content[i] && ' ' == content[i+1]) { 
                return (i+1);
            }
        }
        //如果往前找的过程中没有找到句子的分隔符，就返回文章的开始位置作为句子的开始
        return 0;
    }

## 二、词典 ##

--------------------

### 词典的加载和查找 ###

class DictUtil { 
    public:
        bool Load(const std::string& path) { 
            std::ifstream file(path.c_str());
            if(!file.is_open()) { 
                return false;
            }
            std::string line;
            while(std::getline(file, line)) { 
                set_.insert(line);
            }
            file.close();
            return true;
        }
        
        bool Find(const std::string& key) const { 
            return set_.find(key) != set_.end();
        }
    private:
        std::unordered_set<std::string> set_;
    };

## 三、文件 ##

--------------------

### 指定形式的读、写文件 ###

class FileUtil { 
    public:
        //把指定的文件全部读入content
        static bool Read(const std::string& input_path, std::string* content) { 
            std::ifstream file(input.c_str());
            if(!file.is_open()) { 
                return false;
            }
            //获取文件长度
            file.seekg(0, file.end);
            size_t length = file.tellg();
            file.seekg(0, file.beg);
            //调整content大小，确保其能接收下文件内容
            content.resize(length);
            //content.data()返回的是一个 const char*，这里需要用const_cast转换一下
            file.read(const_cast<char*>(content.data()), length);
            file.close();
            return true;
        }
        //把 content 中的内容全部写入指定文件
        static bool Write(const std::string* output_path, const std::string& content) { 
            std::ofstream file(output_path.c_str());
            if(!file.is_open()) { 
                return false;
            }
            file.write(content.data(), content.size());
            file.close();
            return true;
        }
    };

## 四、时间戳 ##

--------------------

### 1. 获取秒级时间戳 ###

int64_t TimeStamp() { 
        timeval tv;
        ::gettimeofday(&tv, NULL);
        return tv.tv_sec;
    }

### 2. 获取毫秒级时间戳 ###

int64_t TimeStampMS() { 
        timeval tv;
        ::gettimeofday(&tv, NULL);
        return tv.tv_sec * 1000 + tv.tv_usec / 1000;
    }

### 3. 获取微妙级时间戳 ###

int64_t TimeStampUS() { 
        timeval tv;
        ::gettimeofday(&tv, NULL);
        return tv.tv_sec * 1000 * 1000 + tv.tv_usec;
    }

##  ##

> 附完整代码地址：[common/util.hpp][common_util.hpp]

[boost_split]: https://blog.csdn.net/zanda_/article/details/90137157
[common_util.hpp]: https://github.com/fenshitianyue/Boost-Search