Hadoop-模拟生成新能源车辆数据并上传到HDFS

痛定思痛。 2024-03-16 21:58 11阅读 0赞

## 文章目录  @\[toc\]  一、模拟生成新能源车辆数据编写一个程序，每天凌晨3点模拟生成当天的新能源车辆数据（字段信息必须包含：车架号、行驶总里程、车速、车辆状态、充电状态、剩余电量SOC、SOC低报警、数据生成时间等）。  二、要求：  三、实现流程  四、搭建集群部分  五、编写生成车辆数据程序部分  六、部署到HDFS上  七、每日一语 ##

### 一、模拟生成新能源车辆数据编写一个程序，每天凌晨3点模拟生成当天的新能源车辆数据（字段信息必须包含：车架号、行驶总里程、车速、车辆状态、充电状态、剩余电量SOC、SOC低报警、数据生成时间等）。 ###

### 二、要求： ###

1、最终部署时，要将这些数据写到第一题的HDFS中；  
2、车辆数据要按天存储，数据格式是JSON格式，另外如果数据文件大于100M，则另起一个文件存。每天的数据总量不少于300M。比如假设程序是2023-01-1 03点运行，那么就将当前模拟生成的数据写入到HDFS的/can\_data/2023-01-01文件夹的can-2023-01-01.json文件中，写满100M，则继续写到can-2023-01-01.json.2文件中，依次类推；  
3、每天模拟生成的车辆数据中，必须至少包含20辆车的数据，即要含有20个车架号（一个车架号表示一辆车，用字符串表示）；  
4、每天生成的数据中要有少量（20条左右）重复数据（所有字段都相同的两条数据则认为是重复数据），且同一辆车的两条数据的数据生成时间间隔两秒；  
5、每天生成的数据中要混有少量前几天的数据（即数据生成时间不是当天，而是前几天的）

### 三、实现流程 ###

1.搭建集群  
2.编写生成车辆数据程序  
3.部署到HDFS上

### 四、搭建集群部分 ###

1、集群规划

##  ##

<table>  集群规划  
 <thead> 
  <tr> 
   <th>主机IP</th> 
   <th>主机名</th> 
   <th>HDFS</th> 
   <th>YARN</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <th>192.168.91.4</th> 
   <th>master</th> 
   <th>NameNode DataNode </th> 
   <th>ResourceManager NodeManager </th> 
  </tr> 
  <tr> 
   <th>192.168.91.5</th> 
   <th>save1</th> 
   <th>SecondaryNameNode DataNode</th> 
   <th>NodeManager</th> 
  </tr> 
  <tr> 
   <th>192.168.91.6</th> 
   <th>save2</th> 
   <th>DataNode</th> 
   <th>NodeManager</th> 
  </tr> 
 </tbody> 
</table>

2.准备三台虚拟机：我这里是之前在伪分布式中部署过一台虚拟机了，所以复制三份虚拟机：

（1）创建三个文件夹，分别在每一个文件夹中复制一份虚拟机；  
![在这里插入图片描述][ad58cda08b714f659b67645967138eaa.png_pic_center]

（2）用vmware打开master、save1、save2文件夹下的虚拟机，并重命名；  
（3）修改master/saev1/saev2中的ip并重启网卡命令:  
修改IP命令：`vi /etc/sysconfig/network-scripts/ifcfg-ens33`;  
![在这里插入图片描述][a54d0ad4a22a429dbf7aa051574710b5.png_pic_center]

重启网卡命令：`service network restart`;  
3.修改master、save1、save2的主机名和添加IP的映射:`vi /etc/hosts`;  
![在这里插入图片描述][32b7469d4c7e4761b5c9581db7a54d36.png_pic_center]  
![在这里插入图片描述][71af4ca452164a62a24abdcad7331c96.png_pic_center]

4.设置免密登录:因为master、save1、save2三个节点都是从之前的已经安装好Hadoop伪分布式的虚拟机复制得来，而当时已经设置了免密登录，故不需再设置了。也就是master可以免密登录到master、save1、save2  
5.关闭防火墙:同第四点  
6.删除伪分布式数据：  
（1）切换路径：`cd /usr/local/hadoop-2.7.1/`  
（2）删除：`rm -rf ./data/`  
7.修改master主机上的配置文件：  
（1）`vi core-site.xml`;  
![在这里插入图片描述][9c80dccd39614a0d805bc2f6a7d5ede2.png_pic_center]

(2)`vi hdfs-site.xml`;  
![在这里插入图片描述][fdbe95981e524446a9f941d61aec4cbe.png_pic_center]

(3)`vi yarn-site.xml`;  
![在这里插入图片描述][5f6964e8153e427790500a9ee4702b93.png_pic_center]

(4)`vi saves`;  
![在这里插入图片描述][32d84d9e44cb4558a6b3079260f6f9c6.png_pic_center]

8.将master主机上的配置信息同步到saev1/saev2上：  
![在这里插入图片描述][28d04fd3f3f248c39f8b71daa3e8c8fd.png_pic_center]

(1)同步到saev1:`scp /etc/hosts root@save1:/etc`;  
(2)同步到saev2:`scp /etc/hosts root@save2:/etc`;  
9.时间同步：如果没有ntpdate这个插件，请先下载：`yum install -y ntpdata`  
(1)时间同布命令：`ntpdate ntp4.aliyun.com`；  
10.NameNode格式化：`hdfs namenode -format`  
（注意：无需多次格式化，一次足矣，至于格式化后确少进程，则有可能是配置文件写的不对）  
11.启动集群：分别在每一个节点上都输入一遍`start-all.sh`  
master：![在这里插入图片描述][e4dc0aacabe142c18e0bb9c6a3740d4f.png_pic_center]  
saev1:  
![在这里插入图片描述][d8b0144fa50543869009d118acc06f3f.png_pic_center]  
save2:  
![在这里插入图片描述][5fc3edd59cc94a33b53332b783674557.png_pic_center]  
(注意：如果进程与规划表上的不一致，只有两种可能性，一是少了，二就是多了，多了的话我们可以停掉多余的进程）

### 五、编写生成车辆数据程序部分 ###

这里就简单的放一点代码，一小部分  
1.生成车辆数据  
（1）先随机生成20辆车的车架号，并把它存入一个空的列表中；  
（2）设置每一个值的状态；  
（3）设置数据生成的时间；  
（4）把数据存入列表中；  
代码实现：

def generate_data():
        vin_list = ['VIN{}'.format(i) for i in range(1，21)] # 车架号列表
        data_list = []
        for vin in vin_list:
        mileage = round(random.uniform(1000，10000)，2) # 行驶总里程
            speed = round(random.uniform(0，120)，2) # 车速
            status = random.choice(['running’，'stopped']) # 车辆状态
            charge_status = random.choice(['charging'，'discharging'，'idle']) # 充电状态
            soc = round(random.uniform(0，100)，2) # 剩余电量SOC
            soc_Low_alert = random.choice([True，False]) # SOC低报警
            timestamp = int(time.time()) # 数据生成时间
            data = {
        
                'vin': vin,
                'mileage': mileage
                ' speed': speed,
                ' status': status ,
                ' charge_status': charge_status
                ' soc': soc,
                'soc_low_alert': soc_low_alert
                'timestamp': timestamp
            }
            data_list.append(data)
        return data_list

2.添加重复数据  
（1）添加重复数据，使用随机添加，在20辆车中随机添加一些重复的数据;  
（2）看题目要求：每天生成的数据中要混有少量前几天的数据（即数据生成时间不是当天，而是前几天的），所以我们要添加前几天的数据；  
（3）按时间排序：`data.sort(key=lambda x:x['timestamp'])`  
（4）添加时间间隔为2秒的重复数据  
（5）将数据写入HDFS  
代码实现：

data = generate_data()
    #添加重复数据
    repeat_data = random.sample(data, 20)
    data += repeat_data
    #添加前几天的数据
    for i in range(20):
    	timestamp = int(time.time()) - (i + 1) * 24 * 60 * 60
    	vin = 	random.choice(['VIN{}'.format(i) for i in range(1，21)])
    	data.append({
        
    		' vin': vin,
    		'mileage': round(random.uniform(1000，10000)，2),
    		'speed': round(random.uniform(0，120)， 2),
    		' status': random.choice(['running','stopped']),
    		'charge_status': random.choice(['charging','discharging','idle']),
    		' soc': round(random.uniform(0, 100)，2),
    		'soc_Low_alert': random.choice([True, False]),
    		'timestamp': timestamp
    	})
    	#按时间排序
    data.sort(key=lambda x: x['timestamp'])  #添加时间间隔为2秒的重复数据
    for i in range(len(data) - 1):
    	if data[i]['vin'] == data[i + 1]['vin']:
    	data.insert(i + 1,data[i].copy())
    	data[i + 1]['timestamp'] += 2
    	#写入HDFS
    write_to_hdfs(data, hdfs_path)

### 六、部署到HDFS上 ###

1.打包生成jar包，并提交至Hadoop集群运行  
2.设置定时任务，规定每天凌晨三点的第一分钟运行一次

### 七、每日一语 ###

**行则将至，作则必成；  
一念即出，万山无阻。**

[ad58cda08b714f659b67645967138eaa.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/8b5d80942b824424935ff8597e71a252.png
[a54d0ad4a22a429dbf7aa051574710b5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/e8f383a4b1aa45e28a22b4b83c64d14e.png
[32b7469d4c7e4761b5c9581db7a54d36.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/66d8f763b5fe4aff977d10945b51969b.png
[71af4ca452164a62a24abdcad7331c96.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/ec60a6f5e8194dfe9eb247bfe06f8c34.png
[9c80dccd39614a0d805bc2f6a7d5ede2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/c4402473b27041c3a37f77eae38dd2d8.png
[fdbe95981e524446a9f941d61aec4cbe.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/684d73fe08f64e9daf8f75369ebc9377.png
[5f6964e8153e427790500a9ee4702b93.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/f97199695b2b43e2820b18e89d63f41d.png
[32d84d9e44cb4558a6b3079260f6f9c6.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/5e5b7d6812194a91bd2bc8099171aa2b.png
[28d04fd3f3f248c39f8b71daa3e8c8fd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/1d28cdba5bfd44bda43e568172e85736.png
[e4dc0aacabe142c18e0bb9c6a3740d4f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/94bea47eeebf48c99749f6a66623074f.png
[d8b0144fa50543869009d118acc06f3f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/0e1aadb180a54060a8c111c23765ce83.png
[5fc3edd59cc94a33b53332b783674557.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/1b5e4aee93ef4b25bf33df321a6aaec0.png