La tecnología GelSight permite a los robots medir la dureza de los objetos y manipular herramientas pequeñas

Hace ocho años, el grupo de investigación de Ted Adelson en el Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) de MIT reveló una nueva tecnología de sensores, llamada GelSight, que utiliza el contacto físico con un objeto para proporcionar un mapa tridimensional notablemente detallado de su superficie.

Ahora, al montar sensores GelSight en las pinzas de los brazos robóticos, dos equipos del MIT le han dado a los robots una mayor sensibilidad y destreza. Los investigadores presentaron su trabajo en dos artículos en la Conferencia Internacional sobre Robótica y Automatización.

En un artículo, el grupo de Adelson usa los datos del sensor GelSight para permitir que un robot juzgue la dureza de las superficies que toca, una habilidad crucial si los robots domésticos deben manejar objetos cotidianos.

En el otro, Robot Locomotion Group de Russ Tedrake en CSAIL utiliza sensores GelSight para permitir que un robot manipule objetos más pequeños de lo que era posible antes.

El sensor GelSight es, de alguna manera, una solución de baja tecnología para un problema difícil. Consiste en un bloque de elastómero transparente, el «gel» en el nombre de sensor, una cara del cual está recubierta con pintura metálica. Cuando la cara cubierta de pintura se presiona contra un objeto, se ajusta a la forma del objeto.

La pintura metálica hace que la superficie del objeto sea reflectiva, por lo que su geometría se vuelve mucho más fácil de inferir para los algoritmos de visión de computadora. Montados en el sensor opuesto a la cara recubierta de pintura del bloque elástico, hay tres luces de colores y una sola cámara.

«[El sistema] tiene luces de colores en diferentes ángulos, y luego tiene este material reflectivo, y al mirar los colores, la computadora … puede descubrir la forma 3D y qué es esa cosa», explica Adelson, profesora de Ciencias de la Visión en el Departamento de Cerebro y Ciencias Cognitivas.

En ambos conjuntos de experimentos, se montó un sensor GelSight en un lado de una pinza robótica, un dispositivo parecido a la cabeza de una pinza pero con superficies de agarre planas en lugar de puntas puntiagudas.

Puntos de contacto

Para un robot autónomo, medir la suavidad o dureza de los objetos es esencial para decidir no solo dónde y qué tan difícil es agarrarlos, sino también cómo se comportarán cuando los mueva, apile o coloque en diferentes superficies. La detección táctil también podría ayudar a los robots a distinguir objetos que se ven parecidos.

En trabajos anteriores, los robots han intentado evaluar la dureza de los objetos colocándolos sobre una superficie plana y empujándolos suavemente para ver cuánto dan. Pero esta no es la principal forma en que los humanos miden la dureza. Más bien, nuestros juicios parecen basarse en el grado en que el área de contacto entre el objeto y nuestros dedos cambia a medida que lo presionamos. Los objetos más blandos tienden a aplanarse más, aumentando el área de contacto.

Los investigadores del MIT adoptaron el mismo criterio. Wenzhen Yuan, una estudiante graduada en ingeniería mecánica y primera autora del artículo del grupo de Adelson, usó moldes de confitería para crear 400 grupos de objetos de silicona, con 16 objetos por grupo. En cada grupo, los objetos tenían las mismas formas pero diferentes grados de dureza, que Yuan medía usando un instrumento industrial estándar.

Ella luego presionó un sensor GelSight contra cada objeto manualmente, y registró cómo iba cambiando el patrón de contacto, en esencia produciendo una corta película para cada objeto. Para estandarizar el formato de los datos y mantener el tamaño de los datos manejable, extrajo cinco cuadros de cada película, espaciados uniformemente en el tiempo, lo que describe la deformación del objeto que se presionó.

Finalmente, alimentó los datos a una red neuronal, que buscaba automáticamente las correlaciones entre los cambios en los patrones de contacto y las mediciones de dureza. El sistema resultante toma cuadros de video como entradas y produce un puntaje de dureza con una precisión muy alta. Yuan también realizó una serie de experimentos informales en los que sujetos humanos palparon frutas y verduras y los clasificaron según su dureza. En todos los casos, el robot equipado con GelSight llegó a las mismas conclusiones.

A Yuan se le unieron en el documento sus dos asesores de tesis, Adelson y Mandayam Srinivasan, investigador científico senior en el Departamento de Ingeniería Mecánica; Chenzhuo Zhu, estudiante de la Universidad de Tsinghua que visitó el grupo de Adelson el verano pasado; y Andrew Owens, quien realizó su doctorado en ingeniería eléctrica y ciencias de la computación en el MIT y ahora es postdoctorado en la Universidad de California en Berkeley.

Visión obstruida

El documento de Robot Locomotion Group nació de la experiencia del grupo con el Desafío de Robótica (DRC) de la Agencia de Proyectos de Investigación Avanzada de la Defensa, en el que equipos académicos y de la industria compitieron para desarrollar sistemas de control que guiarían a un robot humanoide a través de una serie de tareas relacionadas con una emergencia hipotética.

Normalmente, un robot autónomo utiliza algún tipo de sistema de visión por computadora para guiar su manipulación de objetos en su entorno. Dichos sistemas pueden proporcionar información muy confiable sobre la ubicación de un objeto, hasta que el robot recoge el objeto. Especialmente si el objeto es pequeño, gran parte de él será ocluido por la pinza del robot, lo que hace que la estimación de la ubicación sea mucho más difícil. Por lo tanto, exactamente en el punto en el que el robot necesita conocer la ubicación del objeto con precisión, su estimación se vuelve poco confiable. Este fue el problema al que se enfrentó el equipo de MIT durante el DRC, cuando su robot tuvo que levantar y encender un taladro eléctrico.

«Puedes ver en nuestro video para el DRC que pasamos dos o tres minutos encendiendo el taladro», dice Greg Izatt, un estudiante graduado en ingeniería eléctrica y ciencias de la computación y primer autor del nuevo artículo. «Sería mucho mejor si tuviéramos una estimación precisa y actualizada de dónde se realizó ese ejercicio y dónde estaban nuestras manos en relación con él».

Es por eso que Robot Locomotion Group se dirigió a GelSight. Izatt y sus coautores: Tedrake, el profesor de ingeniería eléctrica y ciencias de la computación de Toyota, aeronáutica y astronáutica, e ingeniería mecánica; Adelson; y Geronimo Mirano, otro estudiante graduado en el grupo de Tedrake, que diseñaron algoritmos de control que utilizan un sistema de visión computarizada para guiar la pinza del robot hacia una herramienta y luego pasar la estimación de la ubicación a un sensor GelSight una vez que el robot tiene la herramienta en mano.

En general, el desafío con este enfoque es reconciliar los datos producidos por un sistema de visión con los datos producidos por un sensor táctil. Pero GelSight se basa en una cámara, por lo que su salida de datos es mucho más fácil de integrar con datos visuales que los datos de otros sensores táctiles.

En los experimentos de Izatt, un robot con una pinza equipada con GelSight tuvo que agarrar un destornillador pequeño, sacarlo de una funda y volverlo a su lugar. Por supuesto, los datos del sensor GelSight no describen el destornillador completo, solo una pequeña parte de él. Pero Izatt descubrió que, mientras la estimación del sistema de visión de la posición inicial del destornillador era precisa en unos pocos centímetros, sus algoritmos podrían deducir qué parte del destornillador estaba tocando el sensor GelSight y así determinar la posición del destornillador en la mano del robot.

«Creo que la tecnología GelSight, así como otros sensores táctiles de gran ancho de banda, tendrán un gran impacto en la robótica», dice Sergey Levine, profesor asistente de ingeniería eléctrica y ciencias de la computación en la Universidad de California en Berkeley. “Para los seres humanos, nuestro sentido del tacto es uno de los factores clave en nuestra sorprendente destreza manual. Los robots actuales carecen de este tipo de destreza y tienen una capacidad limitada para reaccionar a las características de la superficie cuando manipulan objetos. Si se imagina buscar un interruptor de luz en la oscuridad, extraer un objeto de su bolsillo o cualquiera de las otras muchas cosas que puede hacer sin siquiera pensar, todo se basa en la detección táctil.»

«El software finalmente está alcanzando las capacidades de nuestros sensores», agrega Levine. “Los algoritmos de aprendizaje automático inspirados por las innovaciones en el aprendizaje profundo, y la visión por computadora puede procesar los ricos datos sensoriales de sensores como GelSight para deducir las propiedades de los objetos. En el futuro, veremos este tipo de métodos de aprendizaje incorporados en el entrenamiento de las habilidades de manipulación de inicio a final, que hará que nuestros robots sean más diestros y capaces, y tal vez nos ayuden a comprender algo sobre nuestro propio sentido del tacto y control motor».

Artículos relacionados:

FlexShapeGripper: el agarre de la lengua de un camaleón