存储原理及技术选型

短命女 2022-07-20 12:26 313阅读 0赞

# 基本常识（存储瓶颈） #

磁盘存储：

1.  寻址：毫秒级
2.  带宽：百兆

内存存储

1.  寻址：纳秒级

秒>毫秒>微妙>纳秒  寻址内存是磁盘的10W倍

# FastDFS高可用集群 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbXBsZW11cnJpbmE_size_16_color_FFFFFF_t_70][]

# Kafka是什么？ #

Kafka是一种消息队列，具备持久存储能力，可重复消费（有时也可以作为一种存储【存储层技术+时间戳】：时序数据库）。

ODS 贴源 DW 拉链。。。有些懵圈

**数据的分层存储：**

数据仓库的数据存储是分层级的，这个架构一方面跟数据拉取方式有关，一方面也是为了对数据进行层级的抽象处理。一个最简单的数据仓库分为三层，贴源层(ODS） ,历史存储层(HIS）,数据模型层(DM）。

ODS——操作性数据

**贴源层**：数据和源体系数据保持一致。一方面，能够保证我们数据仓库的数据来源是真实存在的，另一方面，在出了问题方便进行核对。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbXBsZW11cnJpbmE_size_16_color_FFFFFF_t_70 1][]

DW——数据仓库

DM——数据集市

# 关系型数据存储结构 #

数据库（Database）是按照[数据结构][Link 1]来组织、[存储][Link 2]和管理数据的仓库，它产生于距今六十多年前，随着[信息技术][Link 3]和市场的发展，特别是二十世纪九十年代以后，[数据管理][Link 4]不再仅仅是存储和管理数据，而转变成用户所需要的各种数据管理的方式。数据库有很多种[类型][Link 5]，从最简单的存储有各种数据的[表格][Link 6]到能够进行海量[数据存储][Link 7]的大型[数据库系统][Link 8]都在各个方面得到了广泛的应用。

在信息化社会，充分有效地管理和利用各类信息资源，是进行科学研究和决策管理的前提条件。数据库技术是管理信息系统、办公自动化系统、决策支持系统等各类信息系统的核心部分，是进行科学研究和决策管理的重要技术手段。  
常用数据库：  
1. [ IBM][IBM] 的DB2  
作为关系数据库领域的开拓者和领航人， [IBM][]在1997年完成了System R系统的原型，1980年开始提供集成的数据库服务器—— System/38，随后是 [SQL][]/DSforV [SE][]和 [VM][]，其初始版本与SystemR研究原型密切相关。DB2 for [MVS][]V1 在1983年推出。该版本的目标是提供这一新方案所承诺的简单性，数据不相关性和用户生产率。1988年DB2 for [ MVS][MVS] 提供了强大的在线事务处理（ [OLTP][]）支持，1989 年和1993 年分别以 [远程工作][Link 9]单元和分布式工作单元实现了分布式数据库支持。最近推出的DB2 [Universal][] Databa [se][] 6.1则是通用数据库的典范，是第一个具备网上功能的多媒体关系数据库管理系统，支持包括Linux在内的一系列平台。  
2. Oracle  
Oracle 前身叫 [SDL][]，由Larry Ellison 和另两个编程人员在1977创办，他们开发了自己的拳头产品，在市场上大量销售，1979 年， [Oracle公司][Oracle]引入了第一个商用 [SQL][] 关系数据库管理系统。 [Oracle公司][Oracle]是最早开发关系数据库的厂商之一，其产品支持最广泛的操作系统平台。目前Oracle关系数据库产品的市场占有率名列前茅。  
3. Informix  
Informix在1980年成立，目的是为Unix等开放操作系统提供专业的关系型数据库产品。公司的名称Informix便是取自Information 和Unix的结合。Informix第一个真正支持SQL语言的关系数据库产品是Informix SE（StandardEngine）。InformixSE是在当时的微机Unix环境下主要的数据库产品。它也是第一个被移植到Linux上的商业数据库产品。  
4. Sybase  
Sybase公司成立于1984年，公司名称“Sybase”取自“system”和 “database” 相结合的含义。Sybase公司的创始人之一Bob Epstein 是Ingres 大学版（与System/R同时期的关系数据库模型产品）的主要设计人员。公司的第一个关系数据库产品是1987年5月推出的Sybase SQLServer1.0。Sybase首先提出Client/Server 数据库体系结构的思想，并率先在Sybase SQLServer 中实现。  
5. SQL Server  
1987 年，微软和 IBM合作开发完成OS/2，IBM 在其销售的OS/2 ExtendedEdition 系统中绑定了OS/2Database Manager，而微软产品线中尚缺少数据库产品。为此，微软将目光投向Sybase，同Sybase 签订了合作协议，使用Sybase的技术开发基于OS/2平台的关系型数据库。1989年，微软发布了SQL Server 1.0 版。  
6. PostgreSQL  
PostgreSQL 是一种特性非常齐全的自由软件的对象——关系性数据库管理系统（ORDBMS），它的很多特性是当今许多商业数据库的前身。PostgreSQL最早开始于BSD的Ingres项目。PostgreSQL 的特性覆盖了SQL-2/SQL-92和SQL-3。首先，它包括了可以说是目前世界上最丰富的数据类型的支持；其次，目前PostgreSQL 是唯一支持事务、子查询、多版本并行控制系统、数据完整性检查等特性的唯一的一种自由软件的数据库管理系统.  
7.mySQL  
mySQL是一个小型关系型数据库管理系统，开发者为瑞典MySQL AB公司。在2008年1月16号被Sun公司收购。目前MySQL被广泛地应用在Internet上的中小型网站中。由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，许多中小型网站为了降低网站总体拥有成本而选择了MySQL作为网站数据库。MySQL的官方网站的网址是： [www.mysql.com][]  
**推荐：顶级数据库迁移工具 ESF Database Migration Toolkit  
  
![Center][]**

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbXBsZW11cnJpbmE_size_16_color_FFFFFF_t_70]: /images/20220719/295e7963393a42c6b5e998d725c43192.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbXBsZW11cnJpbmE_size_16_color_FFFFFF_t_70 1]: /images/20220719/8f076b53dc0448a2a747426197468ee1.png
[Link 1]: http://baike.baidu.com/view/9900.htm
[Link 2]: http://baike.baidu.com/view/87682.htm
[Link 3]: http://baike.baidu.com/view/3226.htm
[Link 4]: http://baike.baidu.com/view/14717.htm
[Link 5]: http://baike.baidu.com/subview/738155/8050031.htm
[Link 6]: http://baike.baidu.com/view/899068.htm
[Link 7]: http://baike.baidu.com/view/551712.htm
[Link 8]: http://baike.baidu.com/view/7809.htm
[IBM]: https://www.baidu.com/s?wd=IBM&tn=44039180_cpr&fenlei=mv6quAkxTZn0IZRqIHckPjm4nH00T1YLrHn3rHR4uH6snvPbnj030ZwV5Hcvrjm3rH6sPfKWUMw85HfYnjn4nH6sgvPsT6KdThsqpZwYTjCEQLGCpyw9Uz4Bmy-bIi4WUvYETgN-TLwGUv3EnW61nHDsnWmL
[SQL]: https://www.baidu.com/s?wd=SQL&tn=44039180_cpr&fenlei=mv6quAkxTZn0IZRqIHckPjm4nH00T1YLrHn3rHR4uH6snvPbnj030ZwV5Hcvrjm3rH6sPfKWUMw85HfYnjn4nH6sgvPsT6KdThsqpZwYTjCEQLGCpyw9Uz4Bmy-bIi4WUvYETgN-TLwGUv3EnW61nHDsnWmL
[SE]: https://www.baidu.com/s?wd=SE&tn=44039180_cpr&fenlei=mv6quAkxTZn0IZRqIHckPjm4nH00T1YLrHn3rHR4uH6snvPbnj030ZwV5Hcvrjm3rH6sPfKWUMw85HfYnjn4nH6sgvPsT6KdThsqpZwYTjCEQLGCpyw9Uz4Bmy-bIi4WUvYETgN-TLwGUv3EnW61nHDsnWmL
[VM]: https://www.baidu.com/s?wd=VM&tn=44039180_cpr&fenlei=mv6quAkxTZn0IZRqIHckPjm4nH00T1YLrHn3rHR4uH6snvPbnj030ZwV5Hcvrjm3rH6sPfKWUMw85HfYnjn4nH6sgvPsT6KdThsqpZwYTjCEQLGCpyw9Uz4Bmy-bIi4WUvYETgN-TLwGUv3EnW61nHDsnWmL
[MVS]: https://www.baidu.com/s?wd=MVS&tn=44039180_cpr&fenlei=mv6quAkxTZn0IZRqIHckPjm4nH00T1YLrHn3rHR4uH6snvPbnj030ZwV5Hcvrjm3rH6sPfKWUMw85HfYnjn4nH6sgvPsT6KdThsqpZwYTjCEQLGCpyw9Uz4Bmy-bIi4WUvYETgN-TLwGUv3EnW61nHDsnWmL
[OLTP]: https://www.baidu.com/s?wd=OLTP&tn=44039180_cpr&fenlei=mv6quAkxTZn0IZRqIHckPjm4nH00T1YLrHn3rHR4uH6snvPbnj030ZwV5Hcvrjm3rH6sPfKWUMw85HfYnjn4nH6sgvPsT6KdThsqpZwYTjCEQLGCpyw9Uz4Bmy-bIi4WUvYETgN-TLwGUv3EnW61nHDsnWmL
[Link 9]: https://www.baidu.com/s?wd=%E8%BF%9C%E7%A8%8B%E5%B7%A5%E4%BD%9C&tn=44039180_cpr&fenlei=mv6quAkxTZn0IZRqIHckPjm4nH00T1YLrHn3rHR4uH6snvPbnj030ZwV5Hcvrjm3rH6sPfKWUMw85HfYnjn4nH6sgvPsT6KdThsqpZwYTjCEQLGCpyw9Uz4Bmy-bIi4WUvYETgN-TLwGUv3EnW61nHDsnWmL
[Universal]: https://www.baidu.com/s?wd=Universal&tn=44039180_cpr&fenlei=mv6quAkxTZn0IZRqIHckPjm4nH00T1YLrHn3rHR4uH6snvPbnj030ZwV5Hcvrjm3rH6sPfKWUMw85HfYnjn4nH6sgvPsT6KdThsqpZwYTjCEQLGCpyw9Uz4Bmy-bIi4WUvYETgN-TLwGUv3EnW61nHDsnWmL
[se]: https://www.baidu.com/s?wd=se&tn=44039180_cpr&fenlei=mv6quAkxTZn0IZRqIHckPjm4nH00T1YLrHn3rHR4uH6snvPbnj030ZwV5Hcvrjm3rH6sPfKWUMw85HfYnjn4nH6sgvPsT6KdThsqpZwYTjCEQLGCpyw9Uz4Bmy-bIi4WUvYETgN-TLwGUv3EnW61nHDsnWmL
[SDL]: https://www.baidu.com/s?wd=SDL&tn=44039180_cpr&fenlei=mv6quAkxTZn0IZRqIHckPjm4nH00T1YLrHn3rHR4uH6snvPbnj030ZwV5Hcvrjm3rH6sPfKWUMw85HfYnjn4nH6sgvPsT6KdThsqpZwYTjCEQLGCpyw9Uz4Bmy-bIi4WUvYETgN-TLwGUv3EnW61nHDsnWmL
[Oracle]: https://www.baidu.com/s?wd=Oracle%E5%85%AC%E5%8F%B8&tn=44039180_cpr&fenlei=mv6quAkxTZn0IZRqIHckPjm4nH00T1YLrHn3rHR4uH6snvPbnj030ZwV5Hcvrjm3rH6sPfKWUMw85HfYnjn4nH6sgvPsT6KdThsqpZwYTjCEQLGCpyw9Uz4Bmy-bIi4WUvYETgN-TLwGUv3EnW61nHDsnWmL
[www.mysql.com]: http://www.mysql.com/
[Center]: /images/20220719/4d03337ac5fa4dcab20a2dbededdf20f.png