Java实现OpenAI 模型训练（fine-tune）

布满荆棘的人生 2023-10-13 09:06 21阅读 0赞

## 本文章介绍如何用java实现OpenAI模型训练，仅供参考 ##

### 提前准备工作 ###

1.  OpenAI KEY，获取方式可自行百度
2.  需要自备VPN 或 使用国外服务器转发
3.  需要训练的数据集，文章格式要求为JSONL，格式内容详见下图（尽量不要低于500个问答）  
    ![在这里插入图片描述][26a335318fbf480aabe3f2d260c5a135.png]  
    话不多说，上代码

### 一、导入pom依赖 ###

<dependency>
                <groupId>cn.gjsm</groupId>
                <artifactId>openai</artifactId>
                <version>0.1.4</version>
            </dependency>

### 二、初始化OpenAiClient对象 ###

private OpenAiClient initOpenAiClient() {
        
            return OpenAiClientFactory.createClient("OpenAI KEY");
        }

### 三、上传数据集并创建模型 ###

数据集可以自己解析成特定格式，务必为JSONL格式

@SneakyThrows
        public String modelTraining() {
        
    
    
            // 发送文件到ChatGPT 文件进行存储
            OpenAiClient openAiClient = initOpenAiClient();
    
            // 文件内容格式 {"prompt":"What 'S the main idea of the text ? ->","completion":" The lack of career -- based courses in US high schools END"}
            RequestBody requestBody = FileUploadRequest.builder()
                    .file(new File("C:\\Users\\17600\\Desktop\\res2.jsonl"))
                    .purpose("fine-tune")  // fine-tune代表训练
                    .build()
                    .toRequestBody();
    
            Call<FileObject> fileObjectCall = openAiClient.uploadFile(requestBody);
            Response<FileObject> execute = fileObjectCall.execute();
            if (!execute.isSuccessful()){
        
                log.info("code={}",execute.code());
                log.info("errBody={}",execute.errorBody());
                return null;
            }
    
            log.info("body={}",execute.body());
    
            //FileObject(id=file-nHX070z0XRvokTNi84YHAYzC, object=file, bytes=181, createdAt=1680488594,filename=ajson,purpose=fine-tune)
            String id = execute.body().getId();
    
            // 创建模型
            FineTunesRequest body = FineTunesRequest.builder()
                    .trainingFile(id)
                    .model("davinci") // 基于训练模型的名称
                    .suffix("zze-en") // 自定义训练好模型的名称
                    .build();
    
            Call<FineTuneResult> fineTuneResultCall = openAiClient.callFineTunes(body);
            Response<FineTuneResult> tuneExecute = fineTuneResultCall.execute();
    
            if (tuneExecute.isSuccessful()) {
        
                log.info("body={}",tuneExecute.body());
            }else {
        
                log.info("code={}",tuneExecute.code());
                log.info("errBody={}",tuneExecute.errorBody());
            }
    
            return null;
        }

**注意：上传文件时可能会失败，请多次尝试**

### 四、查询当前账号下所有已训练好名称 ###

创建模型需要花费几分钟甚至几小时，可多次调用此方法查询训练好的模型，查询接口是免费的，可放心调用

@SneakyThrows
        private void selectModel() {
        
            OpenAiClient openAiClient = initOpenAiClient();
            Response<BaseResponse<Model>> modelExecute = openAiClient.listModels().execute();
    
            if (modelExecute.isSuccessful()) {
        
                for (Model datum : modelExecute.body().getData()) {
        
                    log.info("id={}",datum.getId());
                }
            }else {
        
                log.info("code={}",modelExecute.code());
                log.info("errBody={}",modelExecute.errorBody());
            }
        }

### 五、使用模型聊天 ###

@SneakyThrows
        private void chat(String model,String msg) {
        
            OpenAiClient openAiClient = initOpenAiClient();
    
            CompletionRequest completionRequest = CompletionRequest.builder()
                    .model(model) // 指定模型名称（自己训练好的模型名称）
                    .stop(Arrays.asList("END")) // 指定停止标识
                    .prompt(Arrays.asList(String.format("%s->",msg)))
                    .build();
    
            Response<CompletionResponse> completionExecute = openAiClient.callCompletion(completionRequest).execute();
            if (completionExecute.isSuccessful()) {
        
                log.info("body={}",completionExecute.body());
            }else {
        
                log.info("code={}",completionExecute.code());
                log.info("errBody={}",completionExecute.errorBody());
            }
        }

### 六、注意事项 ###

*  模型训练好之后可能达不到预想的效果，这和数据集的大小有关，所以数据集尽量保持在500条以上。数量约多，效果约好
 *  选择模型时可选择 Ada、Babbage、Curie和Davinci这四种模型为基础进行训练，每个模型训练的价格也是不同，价格详见下图
 *  ![在这里插入图片描述][4eea9902b8434e958b17fcb0d0f01535.png]

**OK，齐活~，文章仅供参考，不对的地方望指出，谢谢**

[26a335318fbf480aabe3f2d260c5a135.png]: https://img-blog.csdnimg.cn/26a335318fbf480aabe3f2d260c5a135.png
[4eea9902b8434e958b17fcb0d0f01535.png]: https://img-blog.csdnimg.cn/4eea9902b8434e958b17fcb0d0f01535.png