[cryoEM] cryoSPARC简介

逃离我推掉我的手 2022-12-14 13:55 153阅读 0赞

# cryoSPARC系统结构概述 #

cryoSPARC是一个后端和前端高性能计算软件系统，为单颗粒冷冻电镜提供数据处理和图像分析能力，以及丰富的基于浏览器的用户界面和命令行工具。

## Master-worker模式 ##

系统基于主用户模式。

*  主进程（web应用，核心应用程序和MongoDB数据库）一起在主节点上运行。主节点需要相对轻量级的资源（２+ CPU< 16GB+ RAM）。
 *  工作程序进程可以在具有GPU的任何可用节点上生成，负责所有实际计算和数据处理，并由主节点调度。注意：同一节点可以同时充当主节点和辅助节点。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5_size_16_color_FFFFFF_t_70_pic_center]

## 典型系统设置 ##

### Single Workstation ###

master和worker在一台机器上运行。要求GPU资源可以用于工作进程。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5_size_16_color_FFFFFF_t_70_pic_center 1]

### Master-Worker ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5_size_16_color_FFFFFF_t_70_pic_center 2]  
master-worker设置中，主程序安装在轻量级机器上，工作进程安装在一个或者多个GPU服务器上。这是最灵活的设置。此设置由三个主要要求：

1.  所有节点都可以访问共享文件系统。该文件爱你系统是项目目录所在处，允许所有节点在作业开始和完成时读取和写入结果；
2.  主节点对每个工作节点都有无密码的SSH访问，SSH用于从主节点上执行工作节点上的作业；
3.  所有的工作节点都可以TCP访问主节点上的10个连续端口（默认端口是39000-39010）。这些端口用于通过基于HTTP远程过程调用的API请求进行元数据通信。

### Clusters ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5_size_16_color_FFFFFF_t_70_pic_center 3]  
集群集成示例，其中两个节点都可以访问共享文件系统。（目前用不到，介绍略过）

## 系统要求 ##

<table> 
 <thead> 
  <tr> 
   <th>component</th> 
   <th>requirement</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>操作系统</td> 
   <td>linux系统，(Ubuntu, CentOS)</td> 
  </tr> 
  <tr> 
   <td>shell</td> 
   <td>bash</td> 
  </tr> 
  <tr> 
   <td>User account</td> 
   <td><code>cryosparcuser</code></td> 
  </tr> 
  <tr> 
   <td>software</td> 
   <td>CUDA &gt;=9.2, &lt;=10.2 (worker nodes only) GCC、 curl(optional)</td> 
  </tr> 
  <tr> 
   <td>文件系统</td> 
   <td>所有节点共享</td> 
  </tr> 
  <tr> 
   <td>CPU</td> 
   <td>4+ cores（推荐8+ cores at 2.8GHz+）</td> 
  </tr> 
  <tr> 
   <td>RAM</td> 
   <td>16GB+（推荐32+ DDR4）</td> 
  </tr> 
  <tr> 
   <td>Networks</td> 
   <td>1 Gbps link to storage servers （推荐10+ Gbps link to storage servers ）</td> 
  </tr> 
 </tbody> 
</table>

### 磁盘和压缩 ###

快速磁盘是有效处理冷EM数据的必要条件。 在预处理阶段（例如运动校正）需要快速的顺序读/写吞吐量，其中数据量非常大(几十TB)，计算量相对较低(运动校正的顺序处理、CTF估计、粒子拾取等。 )  
在RAID配置中旋转磁盘阵列用于存储大型原始数据文件，通常集群文件系统用于大型系统。 根据经验，在预处理过程中要使4-GPU机器饱和，需要持续的连续读1000MB/s速度。

### 固态存储（SSD） ###

用来细化和重建的工作节点非常推荐使用SSD。冷冻SPARC粒子处理算法依赖于随机访问模式和多次通过数据，而不是一次顺序读取数据。 使用允许快速随机读取的存储介质将大大加快处理速度。

### GPUs ###

至少有一个工作节点必须具有可用的GPU才能运行完整的cryoSPARC作业集，但没有GPU的工作节点也可以连接到只运行CPU的作业。 最好保持CUDA版本一致。

### 浏览器要求 ###

最新的谷歌浏览器。

--------------------

> Reference: [cryoSPARC Guide][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/3d98b097cdfb4f7ebd754a9ad4fc51f4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/10c008ba705a4db8b88066dcaa4bcfcc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/d2e5271e2d44486491e787642d9b6862.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/3479a0c1891d4980b2053d00261d1ac3.png
[cryoSPARC Guide]: https://guide.cryosparc.com/setup-configuration-and-management/hardware-and-system-requirements