Docker Hadoop、Spark、Kafka、Zookeeper等集群服务搭建

r囧r小猫 2022-12-03 01:55 196阅读 0赞

**目录**

Docker搭建Hadoop集群（Docker & Hadoop & HDFS & Yarn & Cluster）

Docker搭建Myrocks实例（Docker & Mysql & Rocksdb）

Docker搭建Kafka集群（Docker & Kafka & Cluster）

Docker Container开启ssh服务

Docker Host创建swarm overlay网络

Docker Host设置自启动、国内源、代理

Docker、Docker Compose、Docker Machine各平台安装

Docker 搭建Zookeeper集群(Docker & Zookeeper & Replication)

Docker 搭建Pika分片多主集群（Docker & Codis & Pika& Replication & Sharding）

Docker搭建Spark集群（Docker & Spark & Cluster & Local & Standalone）

Docker搭建SSDB分片多主集群（Docker & Twemproxy & SSDB & Replication & Sharding）

Docker搭建MongoRocks副本分片集群（Docker & Mongodb & Rocksdb & Replication & Sharding）

Docker搭建私有Registry仓库（Docker & Registry & SSL）

--------------------

*  ## [ Docker搭建Hadoop集群（Docker & Hadoop & HDFS & Yarn & Cluster）][Docker_Hadoop_Docker _ Hadoop _ HDFS _ Yarn _ Cluster] ##
    
    [Docker搭建Hadoop集群环境准备依赖安装Docker单例模式安装JDK安装Hadoop修改配置文件环境变量免密登录启动 环境准备 依赖 CentOS7.6 安装Docker 参照安装（点击） 单例模式 安装JDK 去官网上下载1.8版本的tar.gz ，如果使用yum安装或者下载rpm包安装，则会缺少Scala2.11需要的部分文件。 tar xf jdk-8u221-linux-x64....][Docker_Hadoop_Docker _ Hadoop _ HDFS _ Yarn _ Cluster]
    
     
 *  ## [ Docker搭建Myrocks实例（Docker & Mysql & Rocksdb）][Docker_Myrocks_Docker _ Mysql _ Rocksdb] ##
    
    [Docker搭建Myrocks实例准备依赖安装下载镜像基本单实例带配置的单实例创建数据目录查看所有配置项启动命令 准备 依赖 操作系统：CentOS 7.6 安装 参照安装（点击） 下载镜像 docker pull percona:latest 基本单实例 docker run -p 3306:3306 -e INIT\_ROCKSDB=yes -e MYSQL\_ROOT\_PASSWORD=r...][Docker_Myrocks_Docker _ Mysql _ Rocksdb]
    
     
 *  ## [Docker搭建Kafka集群（Docker & Kafka & Cluster）][Docker_Kafka_Docker _ Kafka _ Cluster] ##
    
    [Docker搭建Kafka集群环境准备依赖单实例（Without Docker）安装JDK下载安装包启动进程测试集群安装（Without Docker）准备启动zookeeper 集群更改配置启动测试Docker 集群安装安装Docker 环境准备 依赖 CentOS7.6 单实例（Without Docker） 安装JDK 去官网上下载1.8版本的tar.gz ，如果使用yum安装或者下载rpm...][Docker_Kafka_Docker _ Kafka _ Cluster]
    
     
 *  ## [Docker Container开启ssh服务][Docker Container_ssh] ##
    
    [Docker Container技巧收集开启ssh服务启动并进入镜像设置sshd服务退出并提交镜像启动sshd镜像 开启ssh服务 启动并进入镜像 启动Centos Daemon Container docker run --name centos -itd -p 10022:22 centos 进入Container docker exec -it centos bash 设置sshd服务 ...][Docker Container_ssh]
    
     
 *  ## [ Docker Host创建swarm overlay网络][Docker Host_swarm overlay] ##
    
    [Docker 创建swarm overlay网络依赖更改hostname创建overlay网络测试overlay网络连通性 依赖 准备三台虚拟机vm1，vm2，vm3。三台机器在同一个eth中。 操作系统：CentOS 7.6 安装Docker 更改hostname \#vm1 hostnamectl set-hostname vm1 service docker restart \#vm2 ho...][Docker Host_swarm overlay]
    
     
 *  ## [ Docker Host设置自启动、国内源、代理][Docker Host] ##
    
    [Docker 自启动、国内源、代理设置自启动LinuxmacOS & Windows设置国内源LinuxmacOS & Windows 设置自启动 Linux systemctl enable docker macOS & Windows 打开Docker Desktop，Preference，General，RegistryMirrors，Start Docker De...][Docker Host]
    
     
 *  ## [ Docker、Docker Compose、Docker Machine各平台安装][Docker_Docker Compose_Docker Machine] ##
    
    [安装Docker、Docker Compose、Docker Machine准备安装docker安装docker-compose启动docker守护进程 准备 更新yum yum install -y epel-release yum update -y yum install -y yum-utils device-mapper-persistent-data lvm2 删除旧的docker ...][Docker_Docker Compose_Docker Machine]
    
     
 *  ## [Docker 搭建Zookeeper集群(Docker & Zookeeper & Replication)][Docker _Zookeeper_Docker _ Zookeeper _ Replication] ##
    
    [Docker 搭建Zookeeper集群环境准备依赖安装Docker基本单实例 环境准备 依赖 CentOS7.6 安装Docker 参照安装（点击） 基本单实例 docker run -d zookeeper:latest][Docker _Zookeeper_Docker _ Zookeeper _ Replication]
    
     
 *  ## [ Docker 搭建Pika分片多主集群（Docker & Codis & Pika& Replication & Sharding）][Docker _Pika_Docker _ Codis _ Pika_ Replication _ Sharding] ##
    
    [Docker 搭建Pika分片多主集群环境准备依赖安装Docker安装redis-cli基本单例启动测试 环境准备 依赖 CentOS7.6 安装Docker 参照安装（点击） 安装redis-cli 预先安装redis-cli用于测试pika的连接。 yum install -y redis-cli 基本单例 启动 docker pull pikadb/pika:v3.2.2 docker...][Docker _Pika_Docker _ Codis _ Pika_ Replication _ Sharding]
    
     
 *  ## [Docker搭建Spark集群（Docker & Spark & Cluster & Local & Standalone）][Docker_Spark_Docker _ Spark _ Cluster _ Local _ Standalone] ##
    
    [Docker 搭建Spark 环境准备依赖安装Docker无Docker搭建单例安装JDK配置Java环境变量安装Scala 环境准备 依赖 CentOS7.6 安装Docker 参照安装（点击） 无Docker搭建单例 写这篇文章的时候，spark的最新版本是2.4.3，而此时的2.4.3的一些配套库并没有更新，于是选择Spark2.4.1 + Scala2.11 + JDK1.8 安装JDK ...][Docker_Spark_Docker _ Spark _ Cluster _ Local _ Standalone]
    
     
 *  ## [Docker搭建SSDB分片多主集群（Docker & Twemproxy & SSDB & Replication & Sharding）][Docker_SSDB_Docker _ Twemproxy _ SSDB _ Replication _ Sharding] ##
    
    [docker 搭建ssdb 集群环境准备安装redis基本单例启动docker测试 环境准备 安装redis 基本单例 启动docker docker pull leobuskin/ssdb-docker docker run -p 6379:8888 -v /tmp/ssdb:/ssdb/var --name ssdb -d leobuskin/ssdb-docker 测试 redis-cl...][Docker_SSDB_Docker _ Twemproxy _ SSDB _ Replication _ Sharding]
    
     
 *  ## [Docker搭建MongoRocks副本分片集群（Docker & Mongodb & Rocksdb & Replication & Sharding）][Docker_MongoRocks_Docker _ Mongodb _ Rocksdb _ Replication _ Sharding] ##
    
    [Docker Swarm搭建MongoRocks分片集群下载docker镜像启动单实例MongoRocks简单启动带配置的启动启动单实例连接测试 下载docker镜像 docker pull percona/percona-server-mongodb:3.4 启动单实例MongoRocks 简单启动 基本的命令很简单： docker run -d percona/percona-server-...][Docker_MongoRocks_Docker _ Mongodb _ Rocksdb _ Replication _ Sharding]
    
     
 *  ## [Docker搭建私有Registry仓库（Docker & Registry & SSL）][Docker_Registry_Docker _ Registry _ SSL] ##
    
    [搭建私有docker仓库\*Deploy Private Docker Registry依赖安装准备安装docker安装docker-compose启动docker守护进程配置创建主机目录创建个人签名证书创建密码文件编写docker-compose.xml运行启动registry容器 依赖 操作系统: CentOS 7.6 安装 准备 更新yum yum install -y epel-rele...][Docker_Registry_Docker _ Registry _ SSL]

[Docker_Hadoop_Docker _ Hadoop _ HDFS _ Yarn _ Cluster]: https://blog.csdn.net/lizongti/article/details/102756472
[Docker_Myrocks_Docker _ Mysql _ Rocksdb]: https://blog.csdn.net/lizongti/article/details/102686944
[Docker_Kafka_Docker _ Kafka _ Cluster]: https://blog.csdn.net/lizongti/article/details/102629303
[Docker Container_ssh]: https://blog.csdn.net/lizongti/article/details/100043656
[Docker Host_swarm overlay]: https://blog.csdn.net/lizongti/article/details/99330651
[Docker Host]: https://blog.csdn.net/lizongti/article/details/99293204
[Docker_Docker Compose_Docker Machine]: https://blog.csdn.net/lizongti/article/details/98480052
[Docker _Zookeeper_Docker _ Zookeeper _ Replication]: https://blog.csdn.net/lizongti/article/details/101286963
[Docker _Pika_Docker _ Codis _ Pika_ Replication _ Sharding]: https://blog.csdn.net/lizongti/article/details/100020551
[Docker_Spark_Docker _ Spark _ Cluster _ Local _ Standalone]: https://blog.csdn.net/lizongti/article/details/99674153
[Docker_SSDB_Docker _ Twemproxy _ SSDB _ Replication _ Sharding]: https://blog.csdn.net/lizongti/article/details/99300591
[Docker_MongoRocks_Docker _ Mongodb _ Rocksdb _ Replication _ Sharding]: https://blog.csdn.net/lizongti/article/details/98475540
[Docker_Registry_Docker _ Registry _ SSL]: https://blog.csdn.net/lizongti/article/details/98331602