咨询热线:15190210002

三维仿真       

一种基于三维仿真场景的数据标注方法、装置及

一种基于三维仿真场景的数据标注方法、装置及存储介质与流程


本发明涉及图像处理技术领域,具体而言,涉及一种基于三维仿真场景的数据标注方法、装置及存储介质。



背景技术:

随着虚拟现实与三维渲染技术的发展,虚拟场景已经可以做到以假乱真的程度。三维仿真场景除了可以给人在感官上带来沉浸式体验之外,还可以作为计算机视觉等相关算法的训练数据来源。利用三维仿真场景替代实际场景拍摄的优势在于:可以大大减少人工的数据采集工作量;可以实现实拍场景做不到的自动数据标注;可以与仿真算法结合生成特殊事件下的数据。现有的训练数据集的获取通常采用人工获取待检测图像,并由人工标注的方式,耗费人力,效率低下,利用三维仿真场景生成标注数据的方法还有待开发。



技术实现要素:

本发明解决的问题是如何对三维仿真场景中获得的图像进行像素级的多种角度的标注。

为解决上述问题,本发明提供一种基于三维仿真场景的数据标注方法,包括:

获取三维仿真场景,提取图像帧,对所述图像帧进行预处理获得原始场景着色结果;获取标注类型及其对应的着色策略,根据所述标注类型获取所述图像帧内目标的每个像素的目标属性参数;根据所述目标属性参数,按照所述着色策略,对所述图像帧进行着色,获得着色结果;其中,所述标注类型包含光照属性,所述光照属性对应的着色策略包括:将时间分段,以时间段为单位,对每个时间段的图像帧统一处理,对光照范围内的区域进行标注,将属于同一时间段的所述图像帧对应像素处的标注数据进行叠加,获得光照着色结果。

相对于现有技术,本发明通过获取三维仿真场景,基于不同的着色策略获取相应的标注类型,然后根据着色策略对图像帧进行着色,可以保证标注出的图像帧能适应各种算法的训练;通过对光照范围的区域以像素为单位进行叠加标注,获得光照着色结果,可以保证精确地获得反映光照时间的热力图。

可选地,所述标注包括标注光照的位置和范围;所述将时间分段,以时间段为单位,对每个时间段内的图像帧统一处理,对光照范围内的区域进行标注,将属于同一时间段的所述图像帧对应像素处的标注数据进行叠加,获得光照着色结果包括:将所述三维仿真场景内有光照的时间段进行分段,计算属于同一时间段的各个图像帧的光照范围,并将所述光照范围内的区域渲染成第一颜色;统计属于同一时间段的各个图像帧的每个像素被渲染为第一颜色的次数;根据所述次数计算热力图,将所述热力图叠加回各时间段的第一帧图像帧,渲染获得所述光照着色结果。

由此,通过对光照时间段进行分段,可以获得更细化的光照着色结果,通过对光照区域着色获得热力图,进而获得光照的着色结果,由于光照图的图像帧取自静止的三维仿真场景,故叠加热力图至该时间段的第一帧图像帧,保证获得准确的光照着色结果。

可选地,所述根据所述目标属性参数,按照所述着色策略,对所述图像帧进行着色,获得着色结果包括:基于所述着色策略使用所述顶点着色器进行着色,对所述图像帧进行着色,获得顶点着色图像;使用所述片元着色器,基于所述顶点着色图像、所述着色策略和所述目标属性参数,获得所述着色结果,其中,所述目标属性参数包括以下至少一者:目标的类型参数、速度参数、加速度参数、深度参数、高度参数、颜色参数。

由此,通过图像帧中目标的类型参数、速度参数、加速度参数、深度参数、高度参数、颜色参数分别对图像帧中的像素进行染色,生成对应各自属性的染色结果,用于生成对应的标注图像。

可选地,所述基于所述着色策略使用所述顶点着色器进行着色,对所述图像帧进行着色,获得顶点着色图像包括:

使用所述顶点着色器根据所述图像帧的场景信息对目标进行着色,获得所述顶点着色图像,其中,所述场景信息包括视点位置、贴图法线。

由此,顶点着色器基于视点位置和贴图法线对顶点进行着色,保证获得对顶点的着色结果。

可选地,所述使用所述片元着色器,基于所述顶点着色图像、所述着色策略和所述目标属性参数,获得所述着色结果包括:

使用所述片元着色器获取纹理颜色,将所述纹理颜色叠加至所述顶点着色图像,其中,基于纹理坐标从纹理像素中取样,获得所述纹理颜色。

由此,片元着色器对顶点着色结果进行处理,获取纹理颜色,通过纹理颜色对图像帧进行后续处理。



苏ICP备000214454号