人工智能那点事如果机器人能够整合视觉和触觉感知，他们可以根据他们正在使用的物体的视觉特征（例如形状，大小等）更有效地规划他们的抓握和操纵策略。换句话说，机器人在抓住物体之前会使用相机收集的视觉信息来感知物体的整体触觉特性。另一方面，在抓住相机视野外的物体时，他们会使用类似触觉的响应来弥补可用的视觉信息的不足。
如果与尚未开发的触觉设备配对，罗博士及其同事提出的框架也可以用于电子商务，例如，允许顾客在购买之前感受到衣服的结构。考虑到这一应用，研究人员使用条件生成对抗网络使用触觉数据生成伪视觉图像，反之亦然（即使用视觉数据生成触觉输出）。
该数据集包含100种不同类型织物的宏观图像和触觉读数（使用GelSight传感器捕获）。他们发现，它可以使用与另一个相关的数据有效地预测一种感觉
（即视觉或触觉）的感觉输出。
我们以纹理感知为例：布料纹理的视觉输入图像用于生成同一块布料的伪触觉读数;相反，布料的触觉读数用于预测同一布料的视觉图像， “研究人员解释道。“织物的质地，即纱线分布模式，在视觉图像和压力分布（即触觉）读数中看起来类似。但是，这项工作也可以扩展到实现跨模态视觉 – 触觉数据生成的感知通过考虑两个域之间的差异来考虑其他对象属性。“
“据我们所知，这项工作是实现机器人跨模式视觉 – 触觉数据生成的第一次尝试，也可以扩展到其他模式的跨模态数据生成，我们研究的实际意义在于，我们可以利用其他感官来构成难以接近的感觉。”
将来该框架可用于改进机器人的掌握和操纵策略，以及增强在线购物体验。他们的方法还可以用于扩展分类任务的数据集，方法是生成原本无法访问的传感数据。
