Nuevo sistema de imágenes para ver en aguas turbias

Para los vehículos submarinos operados a distancia, las aguas turbias y turbulentas a menudo están fuera de discusión. Cuando los vehículos descansan en el fondo del océano o excavan en un banco de arena, pueden levantar nubes de sedimento que dificultan la visión de las cámaras a bordo. A menudo, lo único que se puede hacer es esperar hasta que el polvo marino se asiente antes de que un vehículo pueda avanzar con seguridad.

Pero una nueva técnica de mapeo submarino desarrollada por ingenieros del MIT y el Instituto Oceanográfico Woods Hole (WHOI) puede permitir que los vehículos vean en aguas turbias y de baja visibilidad.

El método fusiona imágenes visuales de cámaras ópticas con datos acústicos de sensores de sonar. La combinación permite que un vehículo mapee rápidamente la forma general de su entorno mediante un sonar, incluso en aguas de baja visibilidad. Un vehículo puede moverse hacia ciertas formas en el entorno del mapa de sonar, acercándose lo suficiente como para que las cámaras ópticas resuelvan visualmente objetos específicos en detalle.

La técnica es similar a combinar la ecolocalización de un delfín con la visión de cerca de una tortuga marina para ver y navegar a través de aguas turbias, en tiempo real.

Los investigadores probaron el método en experimentos en tanques donde pudieron controlar el grado de visibilidad del agua. Incluso en las condiciones más nubladas, el sistema podía ver a través del sedimento para mapear el entorno del tanque y visualizar detalles a escala centimétrica de los objetos en el tanque.

El equipo está mejorando aún más la técnica, a la que denominaron Sonar-MASt3R. Imaginan que el método de mapeo puede guiar de manera segura vehículos submarinos en ambientes turbios para una variedad de aplicaciones, incluida la exploración científica, la construcción y el mantenimiento submarinos y la recuperación del fondo marino.

“Esperamos que este trabajo nos permita realizar más operaciones en estos entornos difíciles y de baja visibilidad, y ayude a brindar más protección en las áreas actuales difíciles de operar”, dijo Amy Phung, estudiante de posgrado en el Departamento de Aeronáutica y Astronáutica del MIT, quien dirigió el trabajo.

Phung presentó un artículo que detalla Sonar-MASt3R esta semana en la Conferencia Internacional IEEE sobre Robótica y Automatización (ICRA). El coautor del artículo es Richard Camilli, científico senior en física e ingeniería oceánica aplicada del WHOI.

lo mejor de ambos

Para ver bajo el agua, los científicos generalmente han adoptado una opción, utilizando cámaras ópticas o sensores de sonar para guiar el camino. Las cámaras ópticas pueden proporcionar imágenes visuales detalladas de una escena, pero sólo en aguas relativamente claras y bien iluminadas. Por el contrario, los sensores de sonar funcionan igualmente bien con agua clara y turbia; Al emitir ondas acústicas y medir el tiempo y el ángulo de su retorno, los sensores de sonar pueden determinar la forma, distancia y profundidad exactas de los objetos en el entorno, incluso si un mapa de sonar carece de detalles visuales.

Para obtener lo mejor de ambos modos, los científicos intentaron combinarlos en un nuevo enfoque conocido como “fusión óptico-acústica”. En algunos trabajos anteriores, los grupos de investigación han fusionado datos ópticos y de sonar en técnicas de mapeo que tienen como objetivo principal el reconocimiento de objetos y la reconstrucción de entornos laborales. La mayoría de las técnicas requieren tiempo para sincronizar y procesar los datos y por lo tanto no funcionan en tiempo real, mientras que sólo unas pocas pueden mapear un entorno en 3D. Ninguno se ha aplicado al mapeo submarino de alta resolución en condiciones turbias y turbias.

Phung, estudiante del Programa Conjunto MIT-WHOI, y Camilli, su asesor, pretendían desarrollar una técnica de fusión optoacústica que generaría mapas 3D detallados del entorno submarino en tiempo real y en condiciones de baja visibilidad. El equipo estaba motivado, en parte, por el desafío de recuperar de forma segura minas submarinas sin explotar.

“Puede haber explosivos viejos en áreas que hacen que sea seguro para los barcos, y la mejor manera de deshacerse de ellos de manera segura es mediante la robótica”, dijo Camilli. “Pero muchos de estos explosivos se colocan en entornos de zonas de surf donde la visibilidad aumenta el desafío de hacerlo de forma segura. Esta es una de las muchas aplicaciones para las que se puede utilizar nuestra técnica”.

Trastorno, con una probabilidad de cuatro.

El nuevo método, Sonar-MASt3R, se basa en una técnica existente, MASt3R, desarrollada por investigadores en Francia. MASt3R es un algoritmo de coincidencia de imágenes entrenado para tomar imágenes visuales de la misma escena y estimar rápidamente la profundidad relativa de cada píxel en la escena. De esta forma, MASt3R puede generar un mapa 3D del entorno en tiempo real, a partir de la imagen 2D de una cámara.

“La desventaja es que no hay sensación de escala”, dice Phung. “Dirá ‘este píxel está cinco unidades más cerca que ese píxel’, pero no puede decir si está a 5 metros o 5 pies”.

Afortunadamente, el sonar proporciona mediciones absolutas a escala. La distribución de los reflejos del sonar se puede traducir directamente a una profundidad y distancia específicas de los objetos que hacen rebotar las señales, así como a su forma y contorno.

En su nuevo trabajo, Phung y Camilli utilizaron datos de sonar para corregir la escala del MASt3R y generar mapas 3D precisos de entornos submarinos. Incluso en aguas turbias, el método correcto de mapeo por sonar permitiría a un vehículo conocer la ubicación exacta de los objetos y, por lo tanto, hasta dónde acercarse con seguridad para una inspección más cercana, lo que el vehículo podría hacer utilizando cámaras ópticas convencionales.

El equipo probó el Sonar-MASt3R en experimentos con un tanque lleno de agua, sedimentos y una variedad de objetos como un guijarro, una taza de café y una caja de embalaje. Dentro del tanque también colocaron un brazo robótico, en el que montaron una cámara submarina y un sensor de sonar.

Para cada ejecución experimental, primero llevaron a cabo una trayectoria de barrido, en la que el brazo del robot barre lentamente de un lado al otro del tanque para tomar datos visuales y de sonar. Con este primer barrido, Sonar-MASt3R crea rápidamente un mapa aproximado basado en sonar de la forma y los contornos del tanque y sus objetos. El mapa aproximado se utiliza luego para grabar imágenes de cámara de primeros planos de los objetos, lo que se utiliza para mejorar la resolución del mapa. Un enfoque de “fotograma clave” compara rápidamente cada nuevo fotograma de imagen con el último fotograma clave. Si un fotograma proporciona información nueva que no está contenida en el último fotograma clave, la imagen se agrega como un nuevo fotograma clave al mapa. Si lo parece, se tira inmediatamente. De esta manera, el enfoque puede llenar rápidamente el mapa con detalles visuales relevantes, en tiempo real.

Los investigadores probaron su nuevo enfoque bajo el agua, probando ocho niveles diferentes de turbidez, que crearon agitando el sedimento del tanque. En comparación con otros enfoques de fusión optacústica, Sonar-MASt3R produjo mapas 3D más precisos y resolvió detalles más finos, centímetros y en condiciones más nubladas. En las condiciones más nubladas, a través de las cuales la cámara del brazo robótico no podía ver, sus sensores de sonar podrían generar un mapa aproximado de los objetos ocultos del tanque. Este mapeo inicial permitió que el brazo se moviera con seguridad a través de la turbiedad y se acercara a objetos específicos, que sus cámaras submarinas podían visualizar con mayor detalle.

“Una analogía sería si fueras a una tienda de porcelana en la oscuridad y trataras de encontrar una taza de café específica sin tirar cosas”, ofreció Camilli. “Esto te permitiría hacer eso”.

El equipo planea probar el método en condiciones naturales bajo el agua, donde sospechan que la tarea de mapeo sería más sencilla.

“En un tanque, es como una cámara de eco”, dice Camilli. “Es como tratar de hacer esto en un ambiente de espejo de una casa de risa donde obtienes todas estas distorsiones, reverberaciones e imágenes fantasma que realmente complican el proceso. Si lo pones en el mundo real, debería ser más fácil”.

Sonar-MASt3R, dicen, podría ayudar a los científicos a explorar de forma segura en regiones submarinas turbias, nubladas y turbias.

“El valor real de este esfuerzo es poder utilizar esta tecnología en escenarios de misión que actualmente no tienen solución”, dijo Phung. “Y hay muchas misiones que no se pueden resolver porque no tenemos capacidades de observación o percepción”.

Esta investigación fue apoyada, en parte, por la NASA y la Fundación Nacional de Ciencias.