El pasado 26 de enero, el Salón de Actos de la Facultad de Informática de la Universidad Complutense acogió una Mesa Redonda sobre Control de Calidad y Pruebas en Videojuegos. La charla formaba parte de la actividad formativa, con el mismo nombre, que ha llevado a cabo la Complutense desde noviembre de 2015 a enero de 2016. En total fueron 15 horas en las que 45 alumnos generaron más de 200 informes sobre videojuegos reales, en contacto con sus respectivos desarrolladores (que en algunos casos llegaron a visitar el aula dónde se impartía).
La actividad, coordinada por el profesor Federico Peinado y Fernando Ortega (CEO de GamesBoosters y MadeInSpain, además de Director del Grado de Videojuegos de ESNE), ha permitido a los alumnos evaluar los siguientes juegos: Super Helmets On Fire DX Ultra Edition Plus Alpha (Ripper Games), Carlos Rey Emperador (Padaone Games), Wincars Racer (DragonJam Studios), Bloodwood Reload(Luminy Studios), Perfect Angle (Ivanovich Games), Dino Tim (EducaGames), Song of Horror (Protocol Games), Wild Flirting (Blooming Buds Studio), Daily Yellow Press (un proyecto del Máster de Diseño de Videojuegos de la Complutense) yA Rite From The Stars (Risin’ Goat).
Además de los ya mencionados Federico Peinado y Fernando Ortega, la mesa reunió a algunos desarrolladores con expertos en QA de diversas compañías: Frédéric Champ y Jesús Ojeda (Localization Testing Managers de EA), Michael Santorum (anterior QA Lead en Mercury Steam, actual Game Designer en Tequila Works y profesor de QA en el Máster en Desarrollo de Videojuegos de la Complutense), Javier Vela (QA Tester en Mercury Steam y co-fundador de De Lure Studios), Ignacio F. Herrero (Protocol Games), Carlos L. Hernando (Risin’ Goat) y Antonio Muñoz (EducaGames).
Los primeros en tomar la palabra fueron los representantes de Electronic Arts, quienes aclararon que desde la oficina de Madrid se encargan de comprobar y corregir la localización de los juegos que se distribuirán en todo el planeta, dejando el resto del QA del juego en manos de la Central de EA dedicada a ese efecto, ubicada en Rumanía. Jesús Ojeda, que lleva trabajando 11 años en EA (10 de ellos en distintos puestos dedicados al testing de localización) nos explicó su labor: “Nosotros trabajamos en localización, que no es exactamente QA. No es solo traducción, es algo más complejo. Implica que tiene que haber un equipo de testing que compruebe que esa versión adaptada es correcta, para lo cual se necesita un dominio excepcional del lenguaje nativo. Hay un gran equipo de QA en Rumanía y luego pequeños equipos de QA en cada estudio de desarrollo. Nosotros comprobamos que el texto se lea bien, que no se corta, y que el audio es correcto. Cubrimos unos 25 idiomas de todo el mundo, tanto para el mercado europeo como para el americano y el asiático”.
No es un trabajo sencillo, como nos comentó el otro representante de EA, Frédéric Champ: “Cuando un traductor trabaja en un título muchas veces no puede ver las pantallas del juego y puede tener problemas para traducir una frase del inglés respetando la longitud de caracteres del original, y es algo que tiene que supervisar y solucionar el tester. También puede pasar que la traducción sea exacta, pero esté en un contexto equivocado. Por ejemplo, en un FIFA no puedes jugar contra un “pavo”, juegas contra Turquía (ambos se escriben igual en inglés). Empecé a trabajar como tester para el idioma francés y cuando se creó [en Madrid] la sede mundial me vine aquí y acabé siendo manager de algunos idiomas”.
"FIFA tiene 100 testers de 15 nacionalidades distintas"
Comprobar la localización de una producción tan monumental como un FIFA presenta muchos desafíos, como recalcó Jesús: “FIFA tiene 100 testers de 15 nacionalidades distintas. Hay juegos para los que tenemos dos días de testeo y otros para los que disponemos de un periodo de seis meses. El gran problema a la hora de comunicarnos con los estudios de desarrollo es la diferencia horaria. El tiempo que pasa desde que les mandamos un informe con lo que hemos encontrado hasta que nos devuelven otra versión con los cambios […] En nuestro departamento tenemos la ventaja de que ltodo o relacionado con los textos se puede puede cambiar en tiempo real, desde la web. Y también colaboramos con la central de Rumanía. Si encontramos algún bug de funcionalidad les avisamos, y si ellos encuentran alguno de localización nos avisan a nosotros. No es cuestión de duplicar el trabajo, sino de avisar por cosas puntuales.”
No es lo mismo supervisar la localización dentro del mismo estudio de desarrollo que hacerlo a miles de kilómetros de distancia, como recalcó Michael Santorum (ex QA Lead en Mercury Steam): “Mi experiencia siempre ha sido dentro de un equipo y eso es mucho más fácil que hacerlo desde fuera. Si tienes acceso a los programadores y los grafistas todo es más sencillo, en lugar de tener que mandar un reporte y esperar la respuesta desde la otra parte del mundo”. Michael también habló sobre la principal cualidad que tiene que tener un tester [además de una paciencia infinita para probar una y otra vez la misma fase en busca de bugs]: “Un tester tiene que ser un buen comunicador. No necesito una persona que me diga que el juego está roto. Necesito que me explique por qué se rompe. Encontrar gente de ese calibre es muy complicado. Además es un puesto que tiene una rotación muy alta. Yo tengo una experiencia de 15 años en ese campo, y me dedicado 3 años a cada lanzamiento, dándole ocho horas al día a cada juego”.
¿Qué puede hacer un estudio indie, que no maneja presupuestos tan abultados como Electronic Arts o Mercury Steam para testear sus juegos? Una opción puede ser presentar el juego en ferias y ver cómo reacciona el público, como recalcó Fernando Ortega: “En MadeInSpain nuestro banco de pruebas son los eventos, donde podemos exponer nuestros juegos a mucha gente por poco dinero. Por supuesto, si podéis tener acceso a testers profesionales os lo recomiendo, pero si no es así, y tenéis que mostrar el juego al público, os recomiendo hacer algunas ‘preguntas de control’ para poder sacar una lectura productiva de ello”.
Eso fue lo que hizo Protocol Games, los creadores del estupendo Song of Horror, tal y como nos comentó Ignacio F. Herrero: “Somos un estudio muy pequeño y no tenemos ningún presupuesto, ni para testing ni para nada. Llevamos el juego a la Madrid Games Week, donde la gente pudo probarlo y obtuvimos información con ello. Luego mostramos el juego aquí [Refiriéndose a la Universidad Complutense, donde el juego formó parte del banco de pruebas de la actividad formativa], los alumnos lo probaron y nos mandaron una serie de informes. Había bastantes diferencias entre estos y lo que opinaba el público. Lo que recibes de los asistentes a una feria es muy útil porque es la primera vez que el juego se prueba fuera del estudio. Como creador siempre tienes unas manías a las que ya estás acostumbrado, pero la gente es la sincera aunque no describe los problemas en profundidad, algo que si pudimos obtener gracias al feeback de los alumnos. Necesitas que te digan dónde está el fallo, que sean específicos. No me vale que me digas que el control es malo. Necesito saber por qué. Por ejemplo, en lo referente a los bugs, tenemos que reproducir los pasos a seguir, específicamente. En la primera jornada de la MGW, en apenas 5 o 6 horas, detectamos más de 100 errores que se nos habían pasado.”
"Si estáis embarcados en algún proyecto os recomiendo que hagáis el proceso del testeo al mismo tiempo que el desarrollo, para evitaros grandes problemas al final"
Javier Vela ha vivido ese problema como desarrollador indie (fue alumno del Máster en Videojuegos y actualmente está trabajando en un proyecto propio) y como trabajador de Mercury Steam: “Conozco la diferencia entre el testeo de un juego indie, que es nulo, y el testeo a cargo de un departamento dedicado a ello […]. Si estáis embarcados en algún proyecto os recomiendo que hagáis el proceso del testeo al mismo tiempo que el desarrollo, para evitaros grandes problemas al final. Lo sé por experiencia”.
Algunos indies intentan paliar la falta de presupuesto para testing con soluciones bastante imaginativas, como es fue el caso de Risin’ Goat, los creadores de A Rite From The Stars. “Nuestra primera experiencia fue en el Gamelab de 2014”, recuerda Carlos L. Hernando. “Llevamos una versión que registraba las acciones de los jugadores. Mandábamos los cambios desde Barcelona a Madrid y desde allí nos mandaban una nueva versión que instalábamos en el ordenador en cuanto el puesto de juego quedaba libre”.
¿Y cómo se testea un juego cuando los destinatarios son los niños? Antonio Muñoz (EducaGames) reconoció que tienen cierta ventaja al trabajar para plataformas móviles (lo que les permite resolver los problemas de un día para otro), aunque también afrontan sus propios hándicaps: “La dificultad de hacer un juego educativo para niños es saber si está en el rango de edad correcto y si los niños se divierten con él. Le mostramos el juego a los niños y observamos cómo juegan, las caras que ponen, si les sorprenden. Los niños no mienten (salvo mis hijos, que siempre dicen que les gusta). Siempre tenemos que barajar la posibilidad de que usuarios de otras edades se pongan a jugar con nuestro título. Que un jugador de seis años se divierta, pero que también lo haga uno de diez. Más que los bugs, nos interesa cambiar cosas, tener la mente abierta para introducir las sugerencias que nos llegan. Te puedes tirar un año haciendo un juego y que luego no guste. Es mejor dar un paso atrás que terminar un juego que no guste y acabe no dándote un duro.”
"Debes tomar con precaución los datos que te ofrece un tester. Y conocer bien sus gustos, a qué juega en su casa"
Respecto al factor sinceridad, Michael también tenía su propia opinión: “Los testers son unas personas especiales y mienten mucho. Todo lo que te diga un tester hay que cogerlo con pinzas, ya que la sensación que experimenta un tester y lo que ha hecho en realidad difiere muchas veces. Te dicen cosas como ‘Se me ha hecho muy corto, apenas 15 minutos’, cuando has visto que ha estado jugando hora y media. O te dice que el laberinto es muy fácil, pero le has visto dar vueltas siete veces seguidas. Debes tomar con precaución los datos que te ofrece un tester. Y conocer bien sus gustos, a qué juega en su casa. No es lo mismo el feedback de un fan de World Of Warcraft que el de un amante de Call of Duty.”
“Un tester es mucho más exigente que el jugador medio”, comenta Jesús Ojeda. “Es lo que esperamos de ellos. Que lo reporten todo. Y luego será el estudio de desarrollo el que decida si quiere invertir el tiempo y su presupuesto en arreglarlo todo. Nosotros contemplamos una serie de bugs que se tienen que arreglar sí o sí. A partir de ahí el estudio decide qué arreglar y qué no. Nosotros somos consultores, de ahí que la comunicación sea fundamental.”
¿El trabajo de tester puede ser un trampolín para meter la pierna en un equipo de desarrollo? La pregunta, lanzada por uno de los estudiantes que presenciaron la Mesa Redonda, no tuvo la misma respuesta por parte de los ponentes. En el caso de EA, tal y como comentó Frédéric, no es tan sencillo: “En Electronic Arts es muy difícil hacer eso. Hay estudios, como Bioware, que cuentan con sus propios departamentos de testers, y algunos de sus componentes si acaban dando el salto a la programación. Pero también tenemos ingenieros que están orgullosos de su trabajo en QA y han rechazado dar el salto a la programación". Por el contrario, para Javier Vela sí puede ser una posibilidad viable: “Para mí es un trampolín […]. La industria en España es minúscula, y siempre ves las mismas caras. Cuando entras en un estudio de desarrollo vas haciendo contactos”. Una opinión compartida por Michael Santorum: “Si dentro de una empresa ven que tienes interés, puede que piensen en ti cuando necesiten hacer algo. Si solo quieres testear te quedarás ahí. También es cierto que un proyecto de tres años cuesta una pasta y necesitas gente con experiencia. En Tequila Works tenemos un tester llamado Andrés Bernal, que venía de EA, que es una máquina. Es un tester nato que hace cosas que para mí son impensables. Tiene una organización y una manera de trabajar que es muy valiosa para un estudio pequeño como el nuestro".
En caso de querer encaminar nuestros pasos hacia el QA, es importante redactar bien el currículum. Es algo “de cajón”, pero como dijo Michael “necesitas un tipo detallista para desempeñar la función de tester. Si metes la pata en el propio mail, olvídate. Por ejemplo, al enviar el mismo CV a 20 empresas sin copia oculta.”
¿Y cómo es la relación con los departamentos de QA de Sony y Microsoft? En RetroBarcelona BlitWorks nos habló de su tormentosa experiencia con los responsables de QA de Sega Japón, así que quisimos conocer el testimonio de los representantes de EA. “Sony es una empresa enorme, es otro mundo”, respondió Michael. “Es todo muy impersonal. Nosotros tenemos herramientas que no tienen sus testers. Tenemos la posibilidad de empezar el juego en el punto que quedamos y con las ayudas que sean necesarias, pero ellos no. Lo único que pueden hacer es probar el juego por sí mismos. Es un trabajo muy duro, impersonal, frío. Los testers tienen que tener mucha mano izquierda. ¿Cómo le dices a un tío que lleva 15 años haciendo videojuegos que algo está mal? Hay que tener tacto y delicadeza, algo que la gente que trabaja fuera no puede permitirse.”
Siempre habíamos sospechado que el testeo de videojuegos estaba lejos de ser el trabajo con el que muchos soñábamos desde los tiempos de la Mega Drive y la Super Nintendo. Y el testimonio de los ponentes de la Mesa Redonda nos lo ha confirmado. Es una labor dura y en ocasiones ingrata, pero absolutamente necesaria dentro de esta industria. Detrás de cada fase superada, de cada enemigos fulminado, hay miles de horas de trabajo que pocas veces obtienen el reconocimiento que merece. En muchas ocasiones el auténtico héroe de un juego no lleva espada o un rifle, sino que se sienta frente a un monitor, en un estudio de desarrollo, para revivir una y otra vez el mismo nivel con el objetivo de hacer nuestra experiencia de juego lo más divertida posible. Benditos sean.
Descubre más sobre Bruno Sol, autor/a de este artículo.
Conoce cómo trabajamos en Hobbyconsolas.