无人驾驶数据集 | nuScenes数据集介绍及下载
一、nuScenes发布方——Motional
Motional是由现代汽车集团和Aptiv合资成立的一家无人驾驶公司，致力于使无人驾驶汽车安全，可靠和可达。它具有独特的强大功能，使我们能够从根本上改变人们的生活方式。Motional的使命是创造和发展能够挽救生命、节省时间和金钱的技术，改变世界的运转方式。
nuScenes数据集是由Motional团队开发的用于无人驾驶的公共大型数据集。为了支持公众在计算机视觉和自动驾驶的研究，Motional公开了nuScenes的部分数据。
二、nuScenes数据集介绍
nuScenes数据集在波士顿和新加坡这两个城市收集了1000个驾驶场景，这两个城市交通繁忙而且驾驶状况极具挑战性。nuScenes手动选择20秒长的场景，以显示各种驾驶操作，交通状况和意外行为。nuScenes的超高复杂性，将鼓励开发一种方法，该方法可在每个场景中有数十个对象的城市地区实现安全驾驶。收集不同大洲的数据进一步使我们能够研究计算机视觉算法在不同位置、天气状况、车辆类型、植被、道路标记以及左右手交通之间的通用性。
Motional于2019年3月发布了完整数据集，包括约40万个关键帧中的140万个摄像机图像，39万个LIDAR扫描数据，1.4 M个RADAR扫描数据和1.4万个对象边界框。其扩展包nuScenes-lidarseg的40,000个点云和1000个场景（用于训练和验证的850个场景以及用于测试的150个场景）中包含了14亿个标注点。nuScenes数据集的灵感来自于开创性的 KITTI 数据集。nuScenes是第一个大规模数据集，该数据集来自自动驾驶车辆的整个传感器套件（6个摄像头，1个激光雷达，5个雷达，GPS，IMU）的数据。与KITTI相比，nuScenes包含7倍多的对象注释。之前发布的大多数数据集都是基于相机的对象检测（Cityscapes， Mapillary Vistas，Apolloscapes，Berkeley Deep Drive），而nuScenes的目标是研究整个传感器套件。
2020年7月，Motional发布了nuScenes-lidarseg。在nuScenes-lidarseg中，使用32种可能的语义标签（即激光雷达语义分割）之一，对nuScenes中关键帧的每个激光雷达点进行注释。结果，nuScenes-lidarseg包含40,000个点云中的14亿个带标注的点和1000个场景（用于训练和验证的850个场景以及用于测试的150个场景）。
三、nuScenes数据详情
- 数据格式
nuScenes中使用的数据库架构如下图所示。所有注释和元数据（包括校准，地图，车辆坐标等）都包含在关系数据库中。每行数据都通过唯一主键“token”来标识。外键，例如sample_token，可用于链接到sample表的token。
2. 数据标注
nuScenes数据集以2Hz对同步良好的关键帧（图像，LIDAR，RADAR）进行采样，并由Scale进行注释。nuScenes数据集中的所有对象都带有一个语义类别，以及它们出现的每个帧的3D边界框和属性。与2D边界框相比，可以准确地推断对象在空间中的位置和方向。
对于完整的nuScenes数据集，为23个对象类提供了ground truth标签，如下表所示（不包括测试集）提供标注：
Category |
nuScenes cuboids |
Cuboid ratio |
Lidarseg points |
Point ratio |
animal |
787 |
0.07% |
5,385 |
0.01% |
human.pedestrian.adult |
208,240 |
17.86% |
2,156,470 |
2.73% |
human.pedestrian.child |
2,066 |
0.18% |
9,655 |
0.01% |
human.pedestrian.construction_worker |
9,161 |
0.79% |
139,443 |
0.18% |
human.pedestrian.personal_mobility |
395 |
0.03% |
8,723 |
0.01% |
human.pedestrian.police_officer |
727 |
0.06% |
9,159 |
0.01% |
human.pedestrian.stroller |
1,072 |
0.09% |
8,809 |
0.01% |
human.pedestrian.wheelchair |
503 |
0.04% |
12,168 |
0.02% |
movable_object.barrier |
152,087 |
13.04% |
9,305,106 |
11.79% |
movable_object.debris |
3,016 |
0.26% |
66,861 |
0.08% |
movable_object.pushable_pullable |
24,605 |
2.11% |
718,641 |
0.91% |
movable_object.trafficcone |
97,959 |
8.40% |
736,239 |
0.93% |
static_object.bicycle_rack * |
2,713 |
0.23% |
163,126 |
0.21% |
vehicle.bicycle |
11,859 |
1.02% |
141,351 |
0.18% |
vehicle.bus.bendy |
1,820 |
0.16% |
357,463 |
0.45% |
vehicle.bus.rigid |
14,501 |
1.24% |
4,247,297 |
5.38% |
vehicle.car |
493,322 |
42.30% |
38,104,219 |
48.27% |
vehicle.construction |
14,671 |
1.26% |
1,514,414 |
1.92% |
vehicle.emergency.ambulance |
49 |
0.00% |
2,218 |
0.00% |
vehicle.emergency.police |
638 |
0.05% |
59,590 |
0.08% |
vehicle.motorcycle |
12,617 |
1.08% |
427,391 |
0.54% |
vehicle.trailer |
24,860 |
2.13% |
4,907,511 |
6.22% |
vehicle.truck |
88,519 |
7.59% |
15,841,384 |
20.07% |
Total |
1,166,187 |
100.00% |
78,942,623 |
100.00% |
针对nuScenes-lidarseg，用语义标签注释激光雷达点云中的每个点。除了nuScenes的23种前景类（事物）之外，还包括9种背景类（事物）。为以下类别（不包括测试集）提供注释：
Category |
Lidarseg points |
Point ratio |
flat.driveable_surface |
316,958,899 |
28.64% |
flat.other |
8,559,216 |
0.77% |
flat.sidewalk |
70,197,461 |
6.34% |
flat.terrain |
70,289,730 |
6.35% |
static.manmade |
178,178,063 |
16.10% |
static.other |
817,150 |
0.07% |
static.vegetation |
122,581,273 |
11.08% |
vehicle.ego |
337,070,621 |
30.46% |
noise |
2,061,156 |
0.19% |
Total |
1,106,713,569 |
100.00% |
四、nuScenes数据集下载
针对海外数据集获取难、下载慢的问题，Griviti给出了一站式解决方案——将全球资源Host至国内镜像，无需VPN访问即可享受高速下载。
- 点击进入Graviti公开数据集-nuScenes页面（https://gas.graviti.cn/dataset/motional/nuScenes）
2. 点击「确认」，将nuScenes数据集添加到我的公开数据集中
3. 添加到您的公开数据集后，系统将自动跳转到GAS控制台，点击进入「nuScenes」数据集
4. 选择“下载”，可以直接点击需要的文件进行下载
五、nuScenes数据集可视化
使用Graviti可视化插件，实现在线可视化数据标注分布，所见即所得！
1、 停留在刚才的TensorBay-GAS控制台，点击「数据详情」-「数据可视化」，可查看nuScenes数据样例
2、 进入「标注详情」页，点击「详情」-「可视化」
● 标注分布、标签统计一览无余
3、 查看标签分布
六、BDD100K数据集管理
对于部分Graviti提供的标准格式的公开数据集，支持Fork公开数据集的功能。用户可将公开数据集添加至【我的数据集】，在线进行数据修改与版本管理。
具体步骤如下：
1、在TensorBay-GAS控制台-nuScenes页面，点击「Fork」
2、进入「我的数据集」，点击「nuScense」数据集
3、进入「数据集详情」页，根据标注标签筛选数据，在线查看标注分布情况
4、在Draft（草稿模式）下，可选择上传数据、发布数据集等基本功能，并享受版本管理、在线可视化、数据协同等服务，还通过开发者工具在线集成与云端使用数据
● 支持多种格式、多样场景与多种行业的数据托管，原始数据、标注数据与Meta信息在线管理，化繁为简
● 支持原始数据与标注数据的版本管理，轻松的追溯数据的版本迭代过程，无需再为数据改动而烦恼
● 组件式的实时在线数据可视化工具，兼容主流的数据格式与标注数据，多种数据分布查看方式，无需下载与0代码即可掌握数据细节
● 提供SDK、CLI与OpenAPI多种开发工具，完整的文档与使用案例，让您的数据与Pipeline快速集成
