Cierra los ojos. Imagina tenerlos cerrados una hora, un día, un año... hay cerca de 40 millones de personas ciegas en el mundo, y alrededor de 300 millones con algún tipo de discapacidad visual. My Eyes les permite volver a abrir los ojos.
El proyecto consiste en unas gafas impresas en 3D con una cámara HD integrada. La cámara está conectada a una Raspberry Pi, que el invidente lleva en la cintura. Se puede interactuar con las gafas mediante comandos de voz, para recibir distintos tipos de ayuda (ver video con demo):
- Identificar y describir qué personas tienes delante, incluyendo su apariencia, sexo y estado de ánimo (Ejemplo: "tienes delante a 2 personas de unos 25 años que tienen barba, uno de ellos está sonriendo")
- Identificar productos y marcas (Ejemplo: "tienes en la mano un producto de la marca Coca Cola")
- Leer textos escritos (Ejemplo: el menú del día de un restaurante).
Además, permite reportar incidencias en la vía, para generar una base de datos abierta que ayude tanto a las administraciones, como a otras personas con dificultades, a encontrar mejores rutas.
El proyecto se ha realizado teniendo en mente que las gafas deben ser baratas. El coste completo de las gafas, la cámara HD, una Raspberry Pi y los conectores es inferior a los 50 euros. Tanto el software como los modelos 3D de todos los componentes están disponibles públicamente para que cualquiera pueda reproducirlas con facilidad.
- Juan: Ingeniero de teleco, maestro del soldador y especialista en electrónica.
- Cristian: Ingeniero en informática y experto en desarrollo web y dispositivos móviles.
- Guido: Licenciado en investigación de mercados e ingeniero de telecomunicación, experto en servicios cloud y desarrollo backend (@palmerabollo).
-
Gafas: impresas en 3D durante el Hackaton, llevan integrada una pequeña cámara HD y un micrófono. Su peso total es de unos 50 gramos. Los modelos 3D se encuentran disponibles en el repositorio unblind-3d-models.
-
Controlador: basado en una Raspberry Pi, es el cerebro encargado de interpretar las órdenes dadas por la persona que lleva las gafas, utilizar diferentes servicios online y responder con una respuesta adecuada al usuario. Toda la electrónica se encuentra disponible en el repositorio unblind-electronics y el código desarrollado en unblind.
-
Web de gestión: desarrollada con HTML/CSS/Javascript para gestionar las gafas del usuario de forma remota, conocer su posición, ver las fotos tomadas, enviar mensajes o ver el mapa de incidencias. El código se encuentra disponible en myeyes-ui.
La solución está desarrollada utilizando algunas piezas de software libre.
- Jasper, un servicio para interpretar comandos de voz del usuario. Lo hemos modificado y ampliado para recibir nuevos comandos de voz (tomar foto, reportar incidencia). Los nuevos módulos se encuentran en el repositorio jasper-unblind-modules.
- Festival, para la conversión de texto a voz, con ayuda de la librería say.js.
- Raspbian Jessie, el sistema operativo para la Raspberry Pi
- jQuery y Bootstrap para el desarrollo de la aplicación web.
Además hemos utilizado servicios online como:
- wit.ai, para la conversión de voz a texto y cálculo de la intención del usuario
- Microsoft Oxford para reconocimiento y análisis de caras
- Google Cloud Vision API para identificar escenas, marcas, etc.
- Firebase como base de datos para almacenar información.
- Video promocional en vimeo (1 min)
- [Video corto idea + demo] en vimeo (https://vimeo.com/156949884) (2 min)