Hadoop3.2.0 HDFS 快照

布满荆棘的人生 2022-02-18 12:45 303阅读 0赞

# HDFS快照 #

* 概观
 
 <ul><li><a href="#Snapshottable_Directories" rel="nofollow" target="_self">Snapshottable目录</a></li>
 	<li><a href="#Snapshot_Paths" rel="nofollow" target="_self">快照路径</a></li>
 </ul></li>
 <li><a href="#Upgrading_to_a_version_of_HDFS_with_snapshots" rel="nofollow" target="_self">使用快照升级到HDFS版本</a></li>
 <li><a href="#Snapshot_Operations" rel="nofollow" target="_self">快照操作</a>
 <ul><li><a href="#Administrator_Operations" rel="nofollow" target="_self">管理员操作</a>
 	<ul><li><a href="#Allow_Snapshots" rel="nofollow" target="_self">允许快照</a></li>
 		<li><a href="#Disallow_Snapshots" rel="nofollow" target="_self">禁止快照</a></li>
 	</ul></li>
 	<li><a href="#User_Operations" rel="nofollow" target="_self">用户操作</a>
 	<ul><li><a href="#Create_Snapshots" rel="nofollow" target="_self">创建快照</a></li>
 		<li><a href="#Delete_Snapshots" rel="nofollow" target="_self">删除快照</a></li>
 		<li><a href="#Rename_Snapshots" rel="nofollow" target="_self">重命名快照</a></li>
 		<li><a href="#Get_Snapshottable_Directory_Listing" rel="nofollow" target="_self">获取Snapshottable目录列表</a></li>
 		<li><a href="#Get_Snapshots_Difference_Report" rel="nofollow" target="_self">获取快照差异报告</a></li>
 	</ul></li>
 </ul></li>

## 概观 ##

HDFS快照是文件系统的只读时间点副本。可以在文件系统的子树或整个文件系统上拍摄快照。快照的一些常见用例是数据备份，防止用户错误和灾难恢复。

HDFS快照的实施非常有效：

*  快照创建是即时的：成本是*O（1），*不包括inode查找时间。
 *  仅当相对于快照进行修改时才使用附加内存：内存使用量为*O（M）*，其中*M*是已修改文件/目录的数量。
 *  不复制datanode中的块：快照文件记录块列表和文件大小。没有数据复制。
 *  快照不会对常规HDFS操作产生负面影响：以反向时间顺序记录修改，以便可以直接访问当前数据。通过从当前数据中减去修改来计算快照数据。

### **Snapshottable目录** ###

一旦将目录设置为*snapshottable，*就可以在任何目录上拍摄*快照*。快照目录可以容纳65,536个同步快照。快照目录的数量没有限制。管理员可以将任何目录设置为快照。如果快照目录中有快照，则在删除所有快照之前，既不能删除也不能重命名目录。

目前不允许嵌套的快照目录。换句话说，如果其祖先/后代之一是快照目录，则无法将目录设置为snapshottable。

### **快照路径** ###

对于快照目录，路径组件*“.snapshot”*用于访问其快照。假设  /foo 是一个snapshottable目录  /foo/bar   是在一个文件/directory/foo，和  /foo 具有快照S0。然后，路径/foo/.snapshot/s0/bar引用/ foo / bar的快照副本。通常的API和CLI可以使用“.snapshot”路径。以下是一些例子。

* 列出快照目录下的所有快照：
 
 <pre class="has" style="margin-left:7px;" name="code"><code class="language-source">hdfs dfs -ls /foo/.snapshot</code></pre>
 </li>
 <li>
 列出快照s0中的文件：
 
 <pre class="has" style="margin-left:7px;" name="code"><code class="language-source">hdfs dfs -ls /foo/.snapshot/s0</code></pre>
 </li>
 <li>
 从快照s0复制文件：
 
 <pre class="has" style="margin-left:7px;" name="code"><code class="language-source">hdfs dfs -cp -ptopax /foo/.snapshot/s0/bar /tmp</code></pre>
 
 请注意，此示例使用preserve选项来保留时间戳，所有权，权限，ACL和XAttrs。
 </li>

## 使用快照升级到HDFS版本 ##

HDFS快照功能引入了用于与快照交互的新保留路径名：.snapshot。从不支持快照的旧版HDFS升级时，需要首先重命名或删除名为.snapshot的现有路径，以避免与保留路径冲突。有关详细信息，请参阅[HDFS用户指南中][HDFS]的升级部分。

## 快照操作 ##

### **管理员操作** ###

本节中描述的操作需要超级用户权限。

允许快照

允许创建目录的快照。如果操作成功完成，则该目录将变为快照。

* 命令：
 
 <pre class="has" style="margin-left:7px;" name="code"><code class="language-source">hdfs dfsadmin -allowSnapshot <path></code></pre>
 </li>
 <li>
 参数：
 
 <div class="table-box"><table style="margin-left:-2px;"><tbody><tr><td>path</td>
 			<td style="vertical-align:top;">快照目录的路径。</td>
 		</tr></tbody></table></div></li>

另请参见相应的Java API 无效allowSnapshot（路径路径）在HdfsAdmin。

禁止快照

不允许创建目录的快照。在禁止快照之前，必须删除目录的所有快照。

* 命令：
 
 <pre class="has" style="margin-left:7px;" name="code"><code class="language-source">hdfs dfsadmin -disallowSnapshot <path></code></pre>
 </li>
 <li>
 参数：
 
 <div class="table-box"><table style="margin-left:-2px;"><tbody><tr><td style="vertical-align:top;">path</td>
 			<td style="vertical-align:top;">快照目录的路径。</td>
 		</tr></tbody></table></div></li>

另请参见相应的Java API 无效disallowSnapshot（路径路径）在HdfsAdmin。

### **用户操作** ###

该部分描述了用户操作。请注意，HDFS超级用户可以执行所有操作，而无需满足各个操作中的权限要求。

创建快照

创建快照目录的快照。此操作需要快照目录的所有者权限。

* 命令：
 
 <pre class="has" style="margin-left:7px;" name="code"><code class="language-source">hdfs dfs -createSnapshot <path> [<snapshotName>]</code></pre>
 </li>
 <li>
 参数：
 
 <div class="table-box"><table style="margin-left:-2px;"><tbody><tr><td style="vertical-align:top;">path</td>
 			<td style="vertical-align:top;">快照目录的路径。</td>
 		</tr><tr><td style="vertical-align:top;">snapshotName</td>
 			<td style="vertical-align:top;">快照名称，是可选参数。省略时，使用格式为“'s'yyyyMMdd-HHmmss.SSS”的时间戳生成默认名称，例如“s20130412-151029.033”。</td>
 		</tr></tbody></table></div></li>

另请参见相应的Java API 路径createSnapshot（路径路径）和路径createSnapshot（路径路径字符串snapshotName）在[文件系统][Link 1]快照路径在这些方法返回。

删除快照

从快照目录中删除快照。此操作需要快照目录的所有者权限。

* 命令：
 
 <pre class="has" style="margin-left:7px;" name="code"><code class="language-source">hdfs dfs -deleteSnapshot <path> <snapshotName></code></pre>
 </li>
 <li>
 参数：
 
 <div class="table-box"><table style="margin-left:-2px;"><tbody><tr><td style="vertical-align:top;">path</td>
 			<td style="vertical-align:top;">快照目录的路径。</td>
 		</tr><tr><td style="vertical-align:top;">snapshotName</td>
 			<td style="vertical-align:top;">快照名称。</td>
 		</tr></tbody></table></div></li>

另请参见相应的Java API 无效deleteSnapshot（路径路径字符串snapshotName）的[文件系统][Link 1]。

重命名快照

重命名快照。此操作需要快照目录的所有者权限。

* 命令：
 
 <pre class="has" style="margin-left:7px;" name="code"><code class="language-source">hdfs dfs -renameSnapshot <path> <oldName> <newName>

* 
 
 
 参数：
 * <div class="table-box"><table style="margin-left:-2px;"><tbody><tr><td style="vertical-align:top;">path</td>
 			<td style="vertical-align:top;">快照目录的路径。</td>
 		</tr><tr><td style="vertical-align:top;">oldName</td>
 			<td style="vertical-align:top;">旧快照名称。</td>
 		</tr><tr><td style="vertical-align:top;">newName</td>
 			<td style="vertical-align:top;">新快照名称。</td>
 		</tr></tbody></table></div></li>
 
 另请参见相应的Java API 无效renameSnapshot（路径路径，字符串使用oldName，字符串newName）将在[文件系统][Link 1]。
 
 获取Snapshottable目录列表
 
 获取当前用户有权使用snapshtos的所有快照目录。
 
 * 命令：
 
 <pre class="has" style="margin-left:7px;" name="code"><code class="language-source">hdfs lsSnapshottableDir</code></pre>
 </li>
 <li>
 Arguments ：无
 </li>
 
 另请参见相应的Java API SnapshottableDirectoryStatus \[\] getSnapshottableDirectoryListing（）中DistributedFileSystem。
 
 获取快照差异报告
 
 获取两个快照之间的差异。此操作需要两个快照中所有文件/目录的读访问权限。
 
 * 命令：
 
 <pre class="has" style="margin-left:7px;" name="code"><code class="language-source">hdfs snapshotDiff <path> <fromSnapshot> <toSnapshot></code></pre>
 </li>
 <li>
 参数：
 
 <div class="table-box"><table style="margin-left:-2px;"><tbody><tr><td style="vertical-align:top;">path</td>
 			<td style="vertical-align:top;">快照目录的路径。</td>
 		</tr><tr><td style="vertical-align:top;">fromSnapshot</td>
 			<td style="vertical-align:top;">起始快照的名称。</td>
 		</tr><tr><td style="vertical-align:top;">toSnapshot</td>
 			<td style="vertical-align:top;">结束快照的名称。</td>
 		</tr></tbody></table></div>请注意，snapshotDiff可用于获取两个快照之间或快照与目录当前状态之间的差异报告。用户可以使用“。”来表示当前状态。
 </li>
 <li>
 结果：
 
 <div class="table-box"><table style="margin-left:-2px;"><tbody><tr><td style="vertical-align:top;">+</td>
 			<td style="vertical-align:top;">文件/目录已创建。</td>
 		</tr><tr><td style="vertical-align:top;">-</td>
 			<td style="vertical-align:top;">文件/目录已被删除。</td>
 		</tr><tr><td style="vertical-align:top;">M</td>
 			<td style="vertical-align:top;">文件/目录已被修改。</td>
 		</tr><tr><td style="vertical-align:top;">R</td>
 			<td style="vertical-align:top;">文件/目录已重命名。</td>
 		</tr></tbody></table></div></li>
 
 一个*RENAME*条目表示一个文件/目录已被重命名，但仍然是相同的snapshottable目录下。如果文件/目录已重命名为snapshottble目录之外，则报告为已删除。从snapshottble目录外部重命名的文件/目录将报告为新创建的。
 
 快照差异报告不保证相同的操作顺序。例如，如果我们将目录*“/ foo”*重命名为*“/ foo2”*，然后将新数据附加到文件*“/ foo2 / bar”*，则差异报告将为：
 
 R. /foo -> /foo2
 M. /foo/bar
 
 即，使用重命名之前的原始路径（在上面的示例中为*“/ foo / bar”*）报告重命名目录下的文件/目录的更改。
 
 另请参见相应的Java API SnapshotDiffReport getSnapshotDiffReport（路径路径，字符串fromSnapshot，字符串toSnapshot）在DistributedFileSystem。
 
  
 
 原文链接: [https://hadoop.apache.org/docs/r3.2.0/][https_hadoop.apache.org_docs_r3.2.0]

[HDFS]: https://hadoop.apache.org/docs/r3.2.0/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html#Upgrade_and_Rollback
[Link 1]: https://hadoop.apache.org/docs/r3.2.0/api/org/apache/hadoop/fs/FileSystem.html
[https_hadoop.apache.org_docs_r3.2.0]: https://hadoop.apache.org/docs/r3.2.0/