python3 语言翻译相关库

布满荆棘的人生 2021-08-28 17:58 342阅读 0赞

最近有个需求，要将几万条数据从日语翻译成中文。因为数据的获取和处理用的是python代码，所以想先尝试翻译部分也用python实现。

目前网上查到的翻译方法有百度、有道以及谷歌翻译，下面会对这三个方法进行简单的测试和分析。如果大家知道有更好的方法（速度快、结果准确），还请分享！

模块导入

import re
    import urllib.parse, urllib.request
    import hashlib
    import urllib
    import random
    import json
    import time
    from translate import Translator

非python自带的库，如python google translator，需要手动安装，命令pip install module\_name。

1. 百度翻译

appid = 'your_appid'
    secretKey = 'your_secretKey'
    url_baidu = 'http://api.fanyi.baidu.com/api/trans/vip/translate'
    
    def translateBaidu(text, f='ja', t='zh'):
        salt = random.randint(32768, 65536)
        sign = appid + text + str(salt) + secretKey
        sign = hashlib.md5(sign.encode()).hexdigest()
        url = url_baidu + '?appid=' + appid + '&q=' + urllib.parse.quote(text) + '&from=' + f + '&to=' + t + \
                '&salt=' + str(salt) + '&sign=' + sign
        response = urllib.request.urlopen(url)
        content = response.read().decode('utf-8')
        data = json.loads(content)
        result = str(data['trans_result'][0]['dst'])
        print(result)

参数：text--待翻文本，f--初始语言，t--目标语言，后面方法类似。

2. 有道翻译

url_youdao = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=' \
          'http://www.youdao.com/'
    dict = {}
    dict['type'] = 'AUTO'
    dict['doctype'] = 'json'
    dict['xmlVersion'] = '1.8'
    dict['keyfrom'] = 'fanyi.web'
    dict['ue'] = 'UTF-8'
    dict['action'] = 'FY_BY_CLICKBUTTON'
    dict['typoResult'] = 'true'
    
    def translateYoudao(text):
        global dict
        dict['i'] = text
        data = urllib.parse.urlencode(dict).encode('utf-8')
        response = urllib.request.urlopen(url_youdao, data)
        content = response.read().decode('utf-8')
        data = json.loads(content)
        result = data['translateResult'][0][0]['tgt']
        print(result)

参数主要由字典dict指定，发现没有地方可以指定语言（可能是我没找到），测试结果是不管输入什么语言的文本，输出均是中文。

3. 谷歌翻译

url_google = 'http://translate.google.cn'
    reg_text = re.compile(r'(?<=TRANSLATED_TEXT=).*?;')
    user_agent = r'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ' \
                     r'Chrome/44.0.2403.157 Safari/537.36'
    
    def translateGoogle(text, f='ja', t='zh-cn'):
        values = {'hl': 'zh-cn', 'ie': 'utf-8', 'text': text, 'langpair': '%s|%s' % (f, t)}
        value = urllib.parse.urlencode(values)
        req = urllib.request.Request(url_google + '?' + value)
        req.add_header('User-Agent', user_agent)
        response = urllib.request.urlopen(req)
        content = response.read().decode('utf-8')
        data = reg_text.search(content)
        result = data.group(0).strip(';').strip('\'')
        print(result)

和上面两种方法一样，采用的是访问网页的形式来进行翻译。

还有一种是利用python谷歌翻译模块Translator：

def translateGoogle2(text):
        result = translator.translate(text)
        print(result)

4. 测试代码

测试过程：

翻译5个字串为一个小的单位，输出消耗时间；

循环10次为一个大的单位，输出消耗时间；

对不同的语言字串和循环次数做过多次测试，发现情况基本类似，所以这里选择了10次。

text_list = ['こんにちは', 'こんばんは', 'おはようございます', 'お休(やす)みなさい', 'お元気(げんき)ですか']
    
    time_baidu = 0
    time_youdao = 0
    time_google = 0
    time_google2 = 0
    
    for i in list(range(1, 11)):
        time1 = time.time()
        for text in text_list:
            translateBaidu(text)
        time2 = time.time()
        print('百度翻译第%s次时间：%s'  %  (i, time2 - time1))
        time_baidu += (time2 - time1)
    
        time1 = time.time()
        for text in text_list:
            translateYoudao(text)
        time2 = time.time()
        print('有道翻译第%s次时间：%s' % (i, time2 - time1))
        time_youdao += (time2 - time1)
    
        time1 = time.time()
        for text in text_list:
            translateGoogle(text)
        time2 = time.time()
        print('谷歌翻译第%s次时间：%s'  %  (i, time2 - time1))
        time_google += (time2 - time1)
    
        time1 = time.time()
        for text in text_list:
            translateGoogle2(text)
        time2 = time.time()
        print('谷歌2翻译第%s次时间：%s' % (i, time2 - time1))
        time_google2 += (time2 - time1)
    
    
    print('百度翻译时间：%s' % (time_baidu / 10))
    print('有道翻译时间：%s' % (time_youdao / 10))
    print('谷歌翻译时间：%s' % (time_google / 10))
    print('谷歌2翻译时间：%s' % (time_google2 / 10))

5. 结果分析

日语字串原意为\['你好', '晚上好', '早上好', '晚安', '您还好吧'\]。

测试代码输出结果：

> 您好  
> 晚上好  
> 早上好！  
> 请您休息。  
> 您身体好吗？  
> 百度翻译第1次时间：0.5849709510803223  
> 你好  
> 晚安  
> 早上好。  
> 您休息吧、)  
> 好(身体)好吗?  
> 有道翻译第1次时间：0.46173906326293945  
> 您好  
> 晚上好  
> 早上好  
> 看看你的假期（康）  
> 小心（元气）是  
> 谷歌翻译第1次时间：3.84399676322937  
> 你好  
> 问候  
> 问候  
> 请休息  
> 照顾 （玄龟） 吗？  
> 谷歌2翻译第1次时间：6.819758892059326  
> 您好  
> 晚上好  
> 早上好！  
> 请您休息。  
> 您身体好吗？  
> 百度翻译第2次时间：0.4968142509460449  
> 你好  
> 晚安  
> 早上好。  
> 您休息吧、)  
> 好(身体)好吗?  
> 有道翻译第2次时间：0.3870818614959717  
> 您好  
> 晚上好  
> 早上好  
> 看看你的假期（康）  
> 小心（元气）是  
> 谷歌翻译第2次时间：3.5689375400543213  
> 你好  
> 问候  
> 问候  
> 请休息  
> 照顾 （玄龟） 吗？  
> 谷歌2翻译第2次时间：6.108794450759888  
> 您好  
> 晚上好  
> 早上好！  
> 请您休息。  
> 您身体好吗？  
> 百度翻译第3次时间：0.4832003116607666  
> 你好  
> 晚安  
> 早上好。  
> 您休息吧、)  
> 好(身体)好吗?  
> 有道翻译第3次时间：0.40560245513916016  
> 您好  
> 晚上好  
> 早上好  
> 看看你的假期（康）  
> 小心（元气）是  
> 谷歌翻译第3次时间：3.875128984451294  
> 你好  
> 问候  
> 问候  
> 请休息  
> 照顾 （玄龟） 吗？  
> 谷歌2翻译第3次时间：5.547708034515381  
> 您好  
> 晚上好  
> 早上好！  
> 请您休息。  
> 您身体好吗？  
> 百度翻译第4次时间：0.4904344081878662  
> 你好  
> 晚安  
> 早上好。  
> 您休息吧、)  
> 好(身体)好吗?  
> 有道翻译第4次时间：0.3860180377960205  
> 您好  
> 晚上好  
> 早上好  
> 看看你的假期（康）  
> 小心（元气）是  
> 谷歌翻译第4次时间：3.5466465950012207  
> 你好  
> 问候  
> 问候  
> 请休息  
> 照顾 （玄龟） 吗？  
> 谷歌2翻译第4次时间：7.052653551101685  
> 您好  
> 晚上好  
> 早上好！  
> 请您休息。  
> 您身体好吗？  
> 百度翻译第5次时间：0.4754292964935303  
> 你好  
> 晚安  
> 早上好。  
> 您休息吧、)  
> 好(身体)好吗?  
> 有道翻译第5次时间：0.37929368019104004  
> 您好  
> 晚上好  
> 早上好  
> 看看你的假期（康）  
> 小心（元气）是  
> 谷歌翻译第5次时间：3.503594160079956  
> 你好  
> 问候  
> 问候  
> 请休息  
> 照顾 （玄龟） 吗？  
> 谷歌2翻译第5次时间：4.944894552230835  
> 您好  
> 晚上好  
> 早上好！  
> 请您休息。  
> 您身体好吗？  
> 百度翻译第6次时间：0.4637324810028076  
> 你好  
> 晚安  
> 早上好。  
> 您休息吧、)  
> 好(身体)好吗?  
> 有道翻译第6次时间：0.3679838180541992  
> 您好  
> 晚上好  
> 早上好  
> 看看你的假期（康）  
> 小心（元气）是  
> 谷歌翻译第6次时间：3.4939000606536865  
> 你好  
> 问候  
> 问候  
> 请休息  
> 照顾 （玄龟） 吗？  
> 谷歌2翻译第6次时间：4.786132335662842  
> 您好  
> 晚上好  
> 早上好！  
> 请您休息。  
> 您身体好吗？  
> 百度翻译第7次时间：0.4783976078033447  
> 你好  
> 晚安  
> 早上好。  
> 您休息吧、)  
> 好(身体)好吗?  
> 有道翻译第7次时间：0.3760185241699219  
> 您好  
> 晚上好  
> 早上好  
> 看看你的假期（康）  
> 小心（元气）是  
> 谷歌翻译第7次时间：3.485666036605835  
> 你好  
> 问候  
> 问候  
> 请休息  
> 照顾 （玄龟） 吗？  
> 谷歌2翻译第7次时间：6.591272592544556  
> 您好  
> 晚上好  
> 早上好！  
> 请您休息。  
> 您身体好吗？  
> 百度翻译第8次时间：0.4756813049316406  
> 你好  
> 晚安  
> 早上好。  
> 您休息吧、)  
> 好(身体)好吗?  
> 有道翻译第8次时间：0.4083871841430664  
> 您好  
> 晚上好  
> 早上好  
> 看看你的假期（康）  
> 小心（元气）是  
> 谷歌翻译第8次时间：3.3123676776885986  
> 你好  
> 问候  
> 问候  
> 请休息  
> 照顾 （玄龟） 吗？  
> 谷歌2翻译第8次时间：5.902927875518799  
> 您好  
> 晚上好  
> 早上好！  
> 请您休息。  
> 您身体好吗？  
> 百度翻译第9次时间：0.46607208251953125  
> 你好  
> 晚安  
> 早上好。  
> 您休息吧、)  
> 好(身体)好吗?  
> 有道翻译第9次时间：0.5259883403778076  
> 您好  
> 晚上好  
> 早上好  
> 看看你的假期（康）  
> 小心（元气）是  
> 谷歌翻译第9次时间：3.919294834136963  
> 你好  
> 问候  
> 问候  
> 请休息  
> 照顾 （玄龟） 吗？  
> 谷歌2翻译第9次时间：6.256660223007202  
> 您好  
> 晚上好  
> 早上好！  
> 请您休息。  
> 您身体好吗？  
> 百度翻译第10次时间：0.5158905982971191  
> 你好  
> 晚安  
> 早上好。  
> 您休息吧、)  
> 好(身体)好吗?  
> 有道翻译第10次时间：0.38652658462524414  
> 您好  
> 晚上好  
> 早上好  
> 看看你的假期（康）  
> 小心（元气）是  
> 谷歌翻译第10次时间：3.3273775577545166  
> 你好  
> 问候  
> 问候  
> 请休息  
> 照顾 （玄龟） 吗？  
> 谷歌2翻译第10次时间：6.155425071716309  
> 百度翻译时间：0.4930623292922974  
> 有道翻译时间：0.4084639549255371  
> 谷歌翻译时间：3.5876910209655763  
> 谷歌2翻译时间：6.016622757911682

从打印的内容分析，耗时情况为有道<百度<谷歌<谷歌2，准确度情况为百度>有道>谷歌>谷歌2。

速度先不管，对后面两个文本的翻译结果，谷歌的准确度是较低的，网页版的翻译结果为：

![format_png][]

其实像有道或百度，5条字串耗时400毫秒左右，对于大量数据是不太可取的。如20万条数据，需要约4.4个小时。

所以，如果你知道python中有更好的翻译方法，欢迎分享。或许，这种大量数据的翻译操作用其他语言实现比较合适？

6. 改进 & 感谢

谷歌翻译，[灿烂千阳][Link 1]建议日语->英语->中文的顺序，结果的准确度改进了很多（只是多了一步，速度下降了些）；

耗时问题，[codegay][]提出多线程方案，可以将速度提升几倍，取决于线程或服务器的个数；

具体改进的代码就不贴出来了，在原来的基础上做调整即可。

[format_png]: /images/20210728/651fed76e62d429baac3d3362b59457a.png
[Link 1]: http://www.cnblogs.com/charybdis/
[codegay]: http://www.cnblogs.com/gayhub/