Archivo de la categoría: Raspberry Pi

La hora catalana con Festival (TTS, text to speech)

Estoy trabajando en un Magic Mirror, y le quiero dotar de funciones de reconocimiento de voz (STT, con Pocketsphynx) y síntesis de voz (TTS, con Festival). Quiero que sea un proyecto un poco de cachondeo, y quiero escoger bien los módulos a instalar, y también programar alguno.

Una cosa divertida que había pensado es un módulo que te diga la hora catalana:

-Magic Mirror (le pondré un nombre divertido), quina hora és? (en catalán)
-Són dos quarts i cinc de vuit.

He estado trabajanco con Festival (que se instala sin problemas en una Raspberry Pi) e integrarlo todo con Node/Javascript, que es la tecnología que utiliza MagicMirror.

En el video hau una muestra de lo que se quiere conseguir:

Referencias:

Volvemos a la carga con OpenCV: detectar rectas

Después de un tiempo sin hacer nada con OpenCV, retomamos el proyecto antiguo de la aplicación de las rectas y círculos. Me explico, se trata de hacer un concurso para niños para evaluar si son capaces de hacer rectas y círculos perfectos. El problema es que ahora Maria y Pere ya tienen 14 iy10 anys, quizás ya son un poco mayores para esto. Pero ningún problema, lo haremos igualmente con otros niños más peques que tenemos por aquí.

Continuaré programando en C++, por aquello de programar más rápido, pero soy consciente de que la misma aplicación la podríamos hacer en Python, lenguaje con que he programado bastante últimamente.

Mostramos una captura donde se ve claramente cómo detectamos las rectas, dibujamos la recta de mejor ajuste, y mostramos el valor de la correlación que nos da el valor de como es de buena la recta dibujada. El siguiente paso será hacer los mismo con círculos.

Magic Mirror con la Raspberry Pi (Smart Mirror)

Este es un proyecto divertido y sencillo para hacer con la Raspberry Pi, muy adecuado ahora para el verano. He estado configurando la Raspberry Pi y los diferentes módulos del proyecto MagicMirror, y ya puedo mostrar el video de cómo quedará todo. De todas maneras, el proyecto lo tendré que acabar más adelante cuando decidamos donde podemos colocar el espejo y las dimensiones que tendrá, pues veo que comprar el 2-way mirror es la parte más delicada, y un espejo grande se va del presupuesto.

Uno de los objetivos para realizar este proyecto es que últimamente me estoy concienciando de lo mal que hablamos nuestra lengua (el catalán) y de como se ha empobrecido en general. Para recuperar las expresiones más genuinas (rehusando el calco del castellano allí donde no haga falta), hay todo un movimiento de concienciación. Yo quiero aportar mi grado de arena haciendo este espejo mágico que nos dará una lección de buen catalán cada vez que nos miremos al espejo, por ejemplo cuando nos cepillemos los dientes.

Uno de los módulos por defecto de MagicMirror es la sindicación de contenidos para tener los titulares de las noticias del día. Por ejemplo, mi espejo está suscrito al periódico ARA. Pues bien, he adaptado este módulo para crear mi propio módulo de MagicMirror (el_catala_com_cal). Ha sido bastante fácil. Sólo falta crear y editar un fichero XML con las lecciones de catalán que quiero visualizar. De momento es esto: un fichero estático que tendré que editar cada vez que quiera añadir contenido.

Detección de los dardos: Primeras pruebas

Ya tengo el prototipo del mueble, y ya puedo empezar a hacer pruebas para detectar los dardos. Como se ve en el video, la detección es muy buena. Si nos fijamos en la configuración, la webcam esta en el mismo plano XY que la diana. Esto creo que tiene ventajas en la detección del dardo; y desventajas: necesitaré 2 webcams, y posiblemente 3 webcams para posicionar con fiabilidad el dardo en la diana.

Utilizamos la librería OpenCV sobre C++, i el flujo básico consiste en hacer una captura de la webcam; lanzar el dardo; y hacer otra captura. Entonces se hace la diferencia de las imágenes; se convierte a binario; se aplica una máscara para eliminar buena parte del dardo. En este momento hemos de ver la part de abajo del dardo, y la punta bien clara. Tenemos un número limitado de puntos blancos. Con estos puntos calculamos el momento, que sería el centro de gravedad de los puntos. Y haciendo un bucle sobre todos los puntos puedo detectar el punt más inferior, que sería la punta del dardo. Finalmente, para eliminar posibles errores, calculo la distancia entre la punta y el momento, que ha de ser un valor pequeño.

Aún queda mucha faena. Por una parte, hay que traducir la detección del dardo a los posibles sectores donde está el dardo. Después añadir otra webcam. Y si añado una tercera webcam, seguramente necesitaré algún USB Hub. El objetivo es utilizar una sola Raspberry Pi 3 para todo el proyecto.

Prototipo de diana de dardos II

Hace unos días construí el primer prototipo de mueble, y ya hicimos unas cuantas pruebas para detectar los dardos. He sacado bastantes conclusiones del primer prototipo, y he llegado a la conclusión de que hay que hacer un mueble nuevo, con unas nuevas dimensiones.

La primera consideración es la distancia de la webcam a la diana. Con la webcam con la que estoy haciendo las pruebas (Creative Live! Cam Sync HD), la distancia de la webcam al centro de la diana ha de ser como mínimo de 46 cm. Otro tema importante es que el plano de la cámara ha de coincidir exactamente con el plano XY de la diana (esta es la manera cómo yo abordo la posición de las cámaras, evidentmente necesitaré dos cámaras, o quizás tres). La iluminación ha de ser uniforme, y sobretodo, la construcción ha de ser sólida. La clave está en que cuando hago la sustracción entre una captura y la siguiente (en la que se ha lanzado un dardo), la diferencia entre las imágenes ha de ser realmente la detección del nuevo dardo (no tiene que haber ningún tipo de ruido).

Ya he estado haciendo pruebas con el nuevo prototipo, y hay que decir que los resultados han sido muy buenos (haré un post y un video próximamente), o sea que puedo afrontar con optimismo la parte más crítica del proyecto.

Com se ve en la imagen, la idea que tengo del mueble es integrar una pantalla de 15 pulgadas justo debajo de la diana, y meterle también tres o cuatro botones que necesitaré para interactuar con el software. La parte del software la tengo bastante avanzada, pero ahora me tengo que centrar más en la detección de los dardos.

Otro tema que tengo que hacer los próximos días es convertir la posición del dardo en la puntuación de la diana. No es necesario decir que con una sola cámara (en el mismo plano XY que la diana) esto es imposible, se necesitarán dos cámaras mínimo.

Prototipo de diana de dardos con buena iluminación

A ver si doy un empujón al proyecto de la diana electrónica. He avanzado bastante en el software. Ya hice pruebas en su día con la librería OpenCV, y ahora es el momento de atacar la parte crítica del problema, que es la detección fiable de los dardos.

Como el problema es bastante crítico, lo primero será tener la diana con unas condiciones de luz bien controladas, con iluminación uniforme y sin sombras. Para ello he montado una estructura de madera con tira de LEDs por los lados, com se ve en la foto. El siguiente paso será conseguir unas webcams decentes. De momento las pruebas las he hecho con una webcam muy sencilla con resolución de 480px. Estoy esperando una webcam de 720px, que a parte de una mejor resolución espero que tenga mejor calidad. Finalmente también dispongo de una RaspiCam NoIR (la cámera de infrarrojos propia de la Raspberry Pi). Esta sí que tiene una buena resolución y calidad, el problema es que no es USB, y por tanto en una Raspberry Pi sólo puede haber una cámara RaspiCam.

La idea inicial es utilizar una Raspberry Pi 3, con dos webcams USB conectadas. Se trata de ir haciendo pruebas e ir controlando todas las variables y causísticas que se puedan dar. Por suerte, en todo este proceso no estoy solo, sino que hay más gente empeñada en la construcción de una diana eletrónica con dardos de punta de hierro. Concretamente el proyecto https://github.com/hanneshoettinger/opencv-steel-darts y la discusión que se genera en el grupo de Facebook de https://www.facebook.com/groups/281778298914107/. Hacía años que no entraba en el Facebook, ya veo que en las próximas semanas seré un asiduo.

Ya iré explicando mis aventuras y avances.

Nueva máquina: recreativa arcade vertical

Esta semana he acabado una nueva máquina, una recreativa vertical. Curiosamente, es la segunda que hago de forma seguida. A mi este formato me gusta mucho, ya veo que no soy el único.

Como novedad, he mirado de perfeccionar el tema del vidrio que protege la pantalla, y el vidrio del marquee retroiluminado. La idea es que con la fresadora se practican unas ranuras en los laterales, y el vidrio va encastado dentro de estas ranuras. El vidrio se pinta por detrás, siguiendo el marco de la pantalla. Queda un resultado muy profesional.

recreativa dardos v0.0.8

Ya tengo ganas de hacer esta nueva recreativa: una máquina de dardos con detección automática de los dardos y su puntuación. Pero no dardos con punta de plástico. Ha de ser un dartboard original de corcho con dardos de punta metálica.

Para la detección de los dardos había la posibilidad de utilizar una malla resistiva y poder posicionar dónde lanzamos los dardos. Pero creo que no sería de fiar. Lo mejor será utilizar visión por computadora con OpenCV. Ya hablaré sobre el tema más adelante.

De momento he estado trabajando con la lógica de los diferentes juegos de dardos que hay. Los más populares son: 301, 501, Count Up, Cricket, Round the Clock, Halve it. Y ahora ya puedo presentar la primera versión de la aplicación, no funcional, que sólo funciona en la consola de Linux. Esta versión simula partidas reales de hasta 4 jugadores: primero escoges el juego; después número de jugadores; después asignas los usuarios; comenzamos a jugar al juego seleccionado pasando por las diferentes rondas (cada ronda son tres tiradas de los dardos). Y así vamos registrando la puntuación hasta que llegamos al ganador.

En las siguientes versiones del programa (escrito en C++) se tendrá que implementar toda la parte de OpenCV, y finalmente toda la parte de SDL (librería gráfica). Todo tendrá que correr en una Raspberry Pi 3, de manera que el desarrollo lo hago en el portátil, pero asegurando la portabilidad en la RPi3. Este tiene que ser el proyecto estrella de este semestre. Es una idea que me persigue de hace tres años. De hecho no es una idea original, hay diversos proyectos que utilizan dardos con punta de hierro y tableros de corcho o fibra, en vez de las dianas electrónicas con puntas de plástico. Quizás ahora el proyecto más similar sería open-cv-steeldarts, que se está desarrollando en Python y que todavía no es plenamente funcional. Le daré una ojeada sobretodo por el tema de la calibración y detección de los dardos.

Enlaces:

Juego del Simon. Extraescolar de Robótica en el Balmes

Ya hemos acabado la extraescolar de Robótica al Balmes. Este año hemos programado el juego del Simon con una Raspberry Pi. Toda la documentación (y la programación didáctica) está en la wiki [1].

Durante estas 13 sesiones hemos ido trabajando sobre diferentes temas, que nos llevaban al objetivo final de hacer un prototipo de Simon:

  • Hemos programado el script con Python, viajando por las diferentes versiones a medida que necesitábamos incorporar nuevas funcionalidades.
  • Hemos conectado botones y LEDs a los pines GPIO de la RPi.
  • Hemos visto cómo, utilizando transistores, podemos disparar desde los pines GPIO señales de 12V para encender tiras de LEDs blancos.
  • Hemos discutido sobre la alimentación de todo el sistema, y alternativas.
  • Hemos discutido sobre cómo producir el sonido y su amplificación.
  • Hemos diseñado el mueble final, utilizando herramientas de fabricación digital como la impresora 3D y la fresadora CNC.

Al final ha sido un curso muy multidisciplinar, hemos tocado muchas cosas, aunque por falta de tiempo, conocimientos e infraestructura, muchas cosas las ha implementado el professor y las ha mostrado en clase. Pero al final la experiencia ha sido enriquecedora para todos.

El resultado final se puede ver en la foto y en este video:

Referencias:

Amstrad PCW8256. Probando el emulador Joyce



Estos últimos días he revivido el ordenador Amstrad PCW8256 que teníamos en casa hacia el 1986. Lo utilizaba mi padre para escribir, pero también lo utilizábamos para los trabajos del instituto. Venía con una pantalla monocroma verde, el teclado y la impresora de agujas. Toda la electrónica estaba en el monitor, incluso la placa de la impresora. Y en el monitor también había la disketera de 3», que tenía dos caras.

He instalado el Joyce en la Raspberry Pi, y me ha gustado revivir este sistema. Evidentmente, se ha de escoger la opción de letras verdes, simulando la pantalla de fósforo verde.

El ordenador venía con dos disketes, que eran discos de arranque. El primer era el CP/M, el sistema operativo, desde el que se podía acceder al intérprete de Basic (Mallard Basic). El segudo diskette, tambié bootable, era el Locoscript, que es el processador de textos con que venía. He hecho un documento con LocoScript sobre los ríos de Catalunya, simulando como si fuese un trabajo del insti.

También he jugado un rato al Tetris. El emulador emula muy bien la máquina original. Si quieres jugar al Tetris, has de hacer eject del disket inserido (el CP/M)(el SO ya está cargado en la RAM), y meter el disket del Tetris (Insert). Entonces, ya desde la línea de comandos, ya se puede llamar al ejecutable y jugar al Tetris, com se ve en la imagen.

Qué tiempos aquéllos! El link en la wiki: