BlazingDB安装部署与使用

分手后的思念是犯贱 2021-11-05 13:20 333阅读 0赞

**一、什么是BlazingSQL**

BlazingSQL是一个基于RAPIDS生态系统构建的GPU加速SQL引擎。RAPIDS基于Apache Arrow柱状内存格式，cuDF是一个GPU DataFrame库，用于加载，连接，聚合，过滤和操作数据。

**二、BlazingSQL必要环境**

系统：Ubuntu 16.04 LTS  
GPU 支持：Pascal or Better、Compute Capability >=6.1  
CUDA 支持：9.2 或者大于9.2的  
Docker 支持：Docker CE v18+  
Apt for Ubuntu16.04 doesn’t include v18+ by default  
Make sure you go through the Docker repository set up steps before installing Docker CE  
NVIDIA Docker 支持：nvidia-docker v2+

**三、安装命令**

拉取镜像：

sudo docker pull blazingdb/blazingsql

启动服务：

sudo docker run --runtime=nvidia --rm -p 8888:80 -p 8787:8787 -p 8786:8786 blazingdb/blazingsql:latest

使用Jupyter进行打开：

[http://localhost:8888][http_localhost_8888]  
或者  
http://\{IPADDR\}:8888 (ex: [http://12.34.567.89:8888][http_12.34.567.89_8888])

代码实例：

from blazingsql import BlazingContext
    import cudf
    import dask_cudf
    import dask
    from dask.distributed import Client
    
    client = Client('127.0.0.1:8786')
    bc = BlazingContext(dask_client=client)
    
    bc.s3('dir_name', bucket_name='bucket_name', access_key_id='access_key', secret_key='secret_key')
    
    table_list = ['s3://dir_name/parquet_dir/1_0_0.parquet', 's3://dir_name/parquet_dir/1_1_0.parquet', 's3://dir_name/parquet_dir/1_2_0.parquet']
    
    bc.create_table('table_name', table_list)
    
    result = bc.sql('SELECT COUNT(*) FROM table_name').get()
    
    print(result.head())

查数据：

from blazingsql import BlazingContext
    import cudf
    
    bc = BlazingContext()
    
    bc.create_table('table_name', '...file_path/table.csv')
    
    result = bc.sql('select * from table_name').get()
    
    gdf_result = result.columns

[http_localhost_8888]: http://localhost:8888
[http_12.34.567.89_8888]: http://12.34.567.89:8888