PostgreSQL入门和高维向量索引

港控/mmm° 2022-06-01 09:09 218阅读 0赞

# 一、安装 #

--------------------

### **1.添加PosgreSQL Yum Repository** ###

wget https://download.postgresql.org/pub/repos/yum/9.6/redhat/rhel-7-ppc64le/pgdg-centos96-9.6-3.noarch.rpm  
 yum install pgdg-centos96-9.6-3.noarch.rpm

## **2.安装PostgreSQL Server** ##

yum install postgresql96-server      ;  
   
初始化数据库，默认路径为/var/lib/pgsql/9.6/data  
\# service postgresql-9.6 initdb  
\#/usr/pgsql-9.6/bin/postgresql96-setup initdb  
  
启动服务

\# service postgresql-9.6 start

> ubuntu直接安装：
> 
> apt-get install postgresql

## **3. 管理PostgreSQL Server** ##

### 登录PostgreSQL ###

PostgreSQL 安装完成后，会建立一下‘postgres'用户，用于执行PostgreSQL，数据库中也会建立一个'postgres'用户，如果我们要使用PostgreSQL就必须先登录此帐号。

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div> 
     <div> 
      <code>sudo</code> 
      <code> -i -u postgres</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

执行后提示符会变为 ‘-bash-4.2$'，再运行

同构执行进入 psql 进入postgresql命令行环境。

`[root@localhost ~]` `# sudo -i -u postgres`

`-` `bash` `-4.2$ psql`

`psql (9.6.1)`

`Type ` `"help"`  `for`  `help.`

` `

`postgres=` `#`

### **修改管理员密码：** ###

默认情况下PostgreSQL不支持密码登录，如需支持需要修改配置文件

`vi` `/var/lib/pgsql/9.6` `/data/pg_hba` `.conf`

将未注释行中的ident 替换为 md5：

`# TYPE DATABASE  USER   ADDRESS     METHOD`

` `

`# "local" is for Unix domain socket connections only`

`local`  `all    all          peer`

`# IPv4 local connections:`

`host all    all    127.0.0.1` `/32`    `ident`

`# IPv6 local connections:`

`host all    all    ::1` `/128`      `ident`

`# Allow replication connections from localhost, by a user with the`

`# replication privilege.`

`#local replication  postgres        peer`

`#host replication  postgres  127.0.0.1/32   ident`

`#host replication  postgres  ::1/128     ident`

如需开启远程访问，可编辑/var/lib/pgsql/9.6/data/postgresql.conf 文件。

将 `#listen_addresses = 'localhost'`   修改为 `listen_addresses='*'` （当然，此处‘\*'也可以改为任何你想开放的服务器IP）

另外对于特定的IP还可以设置开启信任远程连接，修改/var/lib/pgsql/9.6/data/pg\_hba.conf，按下面的格式进行添加设置。

`# IPv4 local connections:`

` ` `host all   all  127.0.0.1` `/32`  `trust`

` ` `host all   all  8.8.8.8` `/32` `（需要连接的服务器IP） trust`

修改完配置以后不要忘了重启服务。

`systemctl restart postgresql-9.6 `

`接着可以执行 ALTER USER postgres WITH PASSWORD 'admin'来设置postgres用户密码，可通过 \q  退出数据库。`

\# psql -U postgres  
postgres=\# ALTER USER postgres WITH PASSWORD 'admin';  
postgres=\# \\q

# 二、常用命令 #

--------------------

postgresql数据管理系统使用命令方式有两种:  
1. 内部命令,以反斜线开始 \\ ,如: \\l 显示所有数据库  
2. 标准SQL命令,以分号 ; 或 \\g 结束,可以使用多行

## **一)、添加新用户和新数据库**  ##

初次安装后，默认生成一个名为postgres的数据库和一个名为postgres的数据库用户。这里需要注意的是，同时还生成了一个名为postgres的Linux系统用户。   
下面，我们使用postgres用户，来生成其他用户和新数据库。好几种方法可以达到这个目的，这里介绍两种。

###    **第一种方法，使用PostgreSQL控制台。 ** ###

首先，**新建一个Linux新用户**，可以取你想要的名字，这里为dbuser。

sudo adduser dbuser

然后，**切换到postgres用户：sudo su - postgres**

下一步，**使用psql命令登录PostgreSQL控制台**。

psql

这时相当于系统用户postgres以同名数据库用户的身份，登录数据库，这是不用输入密码的。如果一切正常，系统提示符会变为”postgres=\#”，表示这时已经进入了数据库控制台。以下的命令都在控制台内完成。   
1)、是、使用\\password命令，**为postgres用户设置一个密码**。

\password postgres

2)、**创建数据库用户dbuser（刚才创建的是Linux系统用户），并设置密码。**

CREATE USER dbuser WITH PASSWORD 'password';

3)、**创建用户数据库**，这里为exampledb，并**指定所有者为dbuser。**

CREATE DATABASE exampledb OWNER dbuser;

4)、将exampledb数据库的**所有权限都赋予dbuser**，否则dbuser只能登录控制台，没有任何数据库操作权限。

GRANT ALL PRIVILEGES ON DATABASE exampledb to dbuser;

最后，使用\\q命令退出控制台（也可以直接按ctrl+D）。

### **第二种方法**，使用shell命令行。  ###

添加新用户和新数据库，除了在PostgreSQL控制台内，还可以在shell命令行下完成。这是因为PostgreSQL提供了命令行程序createuser和createdb。还是以新建用户dbuser和数据库exampledb为例。   
首先，**创建数据库用户dbuser，并指定其为超级用户。**

sudo -u postgres createuser --superuser dbuser

然后，登录数据库控制台，设置dbuser用户的密码，完成后退出控制台。

sudo -u postgres psql
    \password dbuser
    \q

接着，在shell命令行下，创建数据库exampledb，并指定所有者为dbuser。

sudo -u postgres createdb -O dbuser exampledb

## **二）、登录数据库** ##

添加新用户和新数据库以后，就要以新用户的名义登录数据库，这时使用的是psql命令。

psql -U dbuser -d exampledb -h 127.0.0.1 -p 5432

上面命令的参数含义如下：-U指定用户，-d指定数据库，-h指定服务器，-p指定端口。   
输入上面命令以后，系统会提示输入dbuser用户的密码。输入正确，就可以登录控制台了。   
psql命令存在简写形式。如果当前Linux系统用户，同时也是PostgreSQL用户，则可以省略用户名（-U参数的部分）。举例来说，我的Linux系统用户名为ruanyf，且PostgreSQL数据库存在同名用户，则我以ruanyf身份登录Linux系统后，可以直接使用下面的命令**登录数据库，且不需要密码。**

psql exampledb

此时，如果PostgreSQL内部还存在与当前系统用户同名的数据库，则连数据库名都可以省略。比如，假定存在一个叫做ruanyf的数据库，则直接键入psql就可以登录该数据库。   
psql   
另外，如果要**恢复外部数据**，可以使用下面的命令。

psql exampledb < exampledb.sql

## 三）、控制台命令  ##

除了前面已经用到的\\password命令（设置密码）和\\q命令（退出）以外，控制台还提供一系列其他命令。   
\\h：查看SQL命令的解释，比如\\h select。   
\\?：查看psql命令列表。   
\\l：列出所有数据库。   
\\c \[database\_name\]：连接其他数据库。   
\\d：列出当前数据库的所有表格。   
\\d \[table\_name\]：列出某一张表格的结构。   
\\du：列出所有用户。   
\\e：打开文本编辑器。   
\\conninfo：列出当前数据库和连接的信息。

1、列举数据库：\\l  
2、选择数据库：\\c 数据库名  
3、查看该某个库中的所有表：\\dt  
4、切换数据库：\\c interface  
5、查看某个库中的某个表结构：\\d 表名  
6、查看某个库中某个表的记录：select \* from apps limit 1;  
7、显示字符集：\\encoding  
8、退出psgl：\\q

==================================================================================

列出当前数据库所有表  
\\dt

列出表名  
SELECT tablename FROM pg\_tables;  
WHERE tablename NOT LIKE 'pg%'  
AND tablename NOT LIKE 'sql\_%'  
ORDER BY tablename;

列出数据库名  
\\l  
或  
SELECT datname FROM pg\_database;

切换数据库  
\\c 数据库名

1、通过命令行查询  
\\d 数据库 —— 得到所有表的名字  
\\d 表名 —— 得到表结构

##    **四)、数据库操作**  ##

基本的数据库操作，就是使用一般的SQL语言。

### 创建新表 ###

CREATE TABLE user\_tbl(name VARCHAR(20), signup\_date DATE);

### 插入数据 ###

INSERT INTO user\_tbl(name, signup\_date) VALUES(‘张三’, ‘2013-12-22’);

### 选择记录 ###

SELECT \* FROM user\_tbl;

### 更新数据 ###

UPDATE user\_tbl set name = ‘李四’ WHERE name = ‘张三’;

### 删除记录 ###

DELETE FROM user\_tbl WHERE name = ‘李四’ ;

### 添加栏位 ###

ALTER TABLE user\_tbl ADD email VARCHAR(40);

### 更新结构 ###

ALTER TABLE user\_tbl ALTER COLUMN signup\_date SET NOT NULL;

### 更名栏位 ###

ALTER TABLE user\_tbl RENAME COLUMN signup\_date TO signup;

### 删除栏位 ###

ALTER TABLE user\_tbl DROP COLUMN email;

### 表格更名 ###

ALTER TABLE user\_tbl RENAME TO backup\_tbl;

### 删除表格 ###

DROP TABLE IF EXISTS backup\_tbl;

# 三、客户端认证 #

--------------------

# 1.pg\_hba.conf文件 #

在pg\_hba.conf文件中，每条记录占一行，指定一条访问认证规则。

总的来说访问控制记录大致有以下7种形式：

local      database  user  auth-method  [auth-options]
    host       database  user  address  auth-method  [auth-options]
    hostssl    database  user  address  auth-method  [auth-options]
    hostnossl  database  user  address  auth-method  [auth-options]
    host       database  user  IP-address  IP-mask  auth-method  [auth-options]
    hostssl    database  user  IP-address  IP-mask  auth-method  [auth-options]
    hostnossl  database  user  IP-address  IP-mask  auth-method  [auth-options]

下面对每个字段分别进行说明。

--------------------

### 连接方式(type) ###

连接方式有四种：local 、host、hostssl、hostnossl

local：这条记录匹配通过 Unix 域套接字进行的联接企图， 没有这种类型的记录，就不允许 Unix 域套接字的联接。

host ：这条记录匹配通过TCP/IP网络进行的联接尝试.他既匹配通过ssl方式的连接，也匹配通过非ssl方式的连接。

注意：要使用该选项你要在postgresql.conf文件里设置listen\_address选项，不在listen\_address里的IP地址是无法匹配到的。因为默认的行为是只在localhost上监听本地连接。

hostssl：这条记录匹配通过在TCP/IP上进行的SSL联接企图。

要使用该选项，服务器编译时必须使用--with-openssl选项，并且在服务器启动时ssl设置是打开的，具体内容可见[这里][Link 1]。

hostnossl：这个和上面的hostssl相反，只匹配通过在TCP/IP上进行的非SSL联接企图。

--------------------

### 数据库(database) ###

声明记录所匹配的数据库。

值 all 表明该记录匹配所有数据库;

值 sameuser表示如果被请求的数据库和请求的用户同名，则匹配;

值samegroup 表示请求的用户必须是一个与数据库同名的组中的成员;

值 replication 表示匹配一条replication连接，它不指定一个特定的数据库，一般在流复制中使用;

在其他情况里，这就是一个特定的 PostgreSQL 数据库的名字。 我们可以通过用逗号分隔的方法声明多个数据库。 一个包含数据库名的文件可以通过对该文件前缀 @ 来声明．该文件必需和 pg\_hba.conf 在同一个目录。

--------------------

### 用户名(user) ###

为这条记录声明所匹配的 PostgreSQL 用户，值 all 表明它匹配 于所有用户。否则，它就是特定 PostgreSQL 用户的名字，多个用户名可以通过用逗号分隔的方法声明，在名字前面加上+代表匹配该用户组的所有用户。一个包含用户名的文件可以 通过在文件名前面前缀 @ 来声明，该文件必需和 pg\_hba.conf 在同一个目录。

--------------------

### 主机地址(address) ###

指定匹配的客户端的地址，它可以是一个主机名，一个IP地址范围，或者下面提到的这些选项。

一个IP地址范围是一个标准的点分十进制表示的 IP地址/掩码值。注意， 在'IP地址','/'和'掩码值'之间不要有任何的空白字符。

比如对于IPv4地址来说， 172.20.143.89/32指定单个主机的IP，172.20.143.0/24代表一个小的子网。对于IPv6地址来说，::1/128指定单个主机(这里是本机环回地址)，fe80::7a31:c1ff:0000:0000/96 指定一个IPv6的子网。0.0.0.0/0代表所有IPv4地址，::0/0代表所有IPv6地址。

一个IPv4地址选项只能匹配IPv4地址，一个IPv6地址选项只能匹配IPv6地址，即使给出的地址选项在IPV4和IPv6中同时存在。

当然你可以使用 all 选项来匹配所有的IP地址，使用 samehost 匹配服务器自己所有的IP地址，samenet来匹配服务器直接接入的子网。

如果指定的是主机名(既不是IP地址也不是上面提到的选项)，这个主机名将会和发起连接请求的客户端的IP地址的反向名称解析结果(即通过客户端的IP解析其主机名，比如使用反向DNS查找)进行比对，如果存在匹配，再使用正向名称解析(例如DNS查找)将主机名解析为IP地址(可能有多个IP地址)，再判断客户端的IP地址是否在这些IP地址中。如果正向和反向解析都成功匹配，那么就真正匹配这个地址(所以在pg\_nba.conf文件里的主机地址必须是客户端IP的 address-to-name 解析返回的那个主机名。一些主机名数据库允许将一个IP地址和多个主机名绑定,但是在解析IP地址时，操作系统只会返回一个主机名)。

有些主机名以点(.)开头，匹配那些具有相同后缀的主机名，比如.example.com匹配foo.example.com(当然不仅仅只匹配foo.example.com)。

还有，在pg\_hba.conf文件中使用主机名的时候，你最好能保证主机名的解析比较快，一个好的建议就是建立一个本地的域名解析缓存(比如nscd)。

本选项只能在连接方式是host,hostssl或者hostnossl的时候指定。

--------------------

### ip地址(ip-address)、子网掩码(ip-mask) ###

这两个字段包含可以看成是标准点分十进制表示的 IP地址/掩码值的一个替代。例如。使用255.255.255.0 代表一个24位的子网掩码。它们俩放在一起，声明了这条记录匹配的客户机的 IP 地址或者一个IP地址范围。本选项只能在连接方式是host,hostssl或者hostnossl的时候指定。

--------------------

### 认证方法（authentication method） ###

trust

无条件地允许联接，这个方法允许任何可以与PostgreSQL 数据库联接的用户以他们期望的任意 PostgreSQL 数据库用户身份进行联接，而不需要口令。

reject

联接无条件拒绝，常用于从一个组中"过滤"某些主机。

md5

要求客户端提供一个 MD5 加密的口令进行认证，这个方法是允许加密口令存储在pg\_shadow里的唯一的一个方法。

password

和"md5"一样，但是口令是以明文形式在网络上传递的，我们不应该在不安全的网络上使用这个方式。

gss

使用GSSAPI认证用户，这只适用于 TCP/IP 连接。

sspi

使用SSPI认证用户，这只适用于 Windows 连接。

peer

获取客户端的操作系统的用户名并判断他是否匹配请求的数据库名，这只适用于本地连接。

ldap

使用LDAP服务进行验证。

radius

使用RADIUS服务进行验证。

cert

使用SSL服务进行验证。

pam

使用操作系统提供的可插入的认证模块服务 （Pluggable Authentication Modules）（PAM）来认证。

# 四、阿里云rds pg发布高维向量索引，支持图像识别、人脸识别 - pase 插件 #

--------------------

[https://github.com/digoal/blog/blob/master/201912/20191219\_02.md][https_github.com_digoal_blog_blob_master_201912_20191219_02.md]

创建向量表：  
create table  vectors\_table2 (  
  id serial primary key,  
  vector float4\[\]  
);

创建hnsw算法索引:  
CREATE INDEX hnsw\_idx ON vectors\_table  
USING  
  pase\_hnsw(vector)  
WITH  
  (dim = 256, base\_nb\_num = 16, ef\_build = 40, ef\_search = 200, base64\_encoded = 0);

[Link 1]: https://www.postgresql.org/docs/9.5/static/ssl-tcp.html
[https_github.com_digoal_blog_blob_master_201912_20191219_02.md]: https://github.com/digoal/blog/blob/master/201912/20191219_02.md