En un post anterior daba mi opinión sobre el tema de los benchmarks o pruebas de rendimiento. Mi opinión no ha cambiado desde entonces: sigo sin creer en ellas. Pero con la edad voy pasando por alto algunas cosas y, digamos que me he vuelto un blando ;)
Esta vez no voy a hablar en contra de los benchmarks en general sino en concreto unas pruebas que he visto en Internet. Obviamente, es una opinión lo que voy a escribir. No es la verdad absoluta ni el camino hacia la luz y el conocimiento verdadero.
Como os decía, he visto un benchmark de Phoronix que me ha llamado la atención. Me ha llamado la atención porque están probando diversas distribuciones de Linux en un Netbook. Hasta ahí bien. Lo que me llama la atención es que hagan pruebas del tipo:
- OpenArena a 1024×600: ¿alguien va a jugar al OpenArena en un Netbook? Ya, ya sé lo que me vais a decir: «Es para ver el rendimiento de la tarjeta gráfica con software 3D (juegos, en este caso)». Eso ya lo sé, pero no es realista. Todo el mundo sabe que un Netbook NO es para 3D ni para juegos. ¿Realmente de qué sirve esta prueba? Para nada.
- iozone y postmark: aquí pasa algo por el estilo. ¿Para qué vamos a hacer un benchmark del disco duro de un netbook? ¿Acaso vamos a montar un servidor NAS de alto rendimiento con nuestro Netbook? Yo creo que no. Hombre, por poder, se puede, pero eso de que vaya a ser de alto rendimiento … ;)
- dcraw: vale, hay gente que usa el Netbook para descargar las fotos de su cámara digital y ya de paso las pasa a otro formato, ¿y? ¿Alguien espera ver unos números que te dejen boquiabierto? Nopes. La diferencia entre el mejor caso (129.81 segundos) y el peor caso (134.05 segundos) es de ~4 segundos. No veo caras de asombro.
- codificación de vídeo y audio (wav to ogg, AVI to NTSCD, H.264): ¿alguien usa un Netbook para codificar vídeo y/o audio? Pues si lo hace … que no espere grandes resultados ni grandes diferencias entre un sistema y otro.
A lo que me refiero es que estas pruebas no dan datos interesantes sobre una distro en un Netbook. Un Netbook no se usa para dichos menesteres … Corrijo, un Netbook no se debería usar para dichos menesteres. Es como leer una revista de motos y ves que comparan la velocidad de 4 scooters en un circuito de Fórmula 1 o en un circuito de Rallies. Una scooter no ha sido diseñada ni construida para eso, luego esa comparativa no me vale de nada a efectos prácticos de la vida real. Que comparen el consumo en ciudad, el peso, la potencia, …
Sí me ha gustado ver otro tipo de pruebas:
- 1080p H.264 Video Playback: esto sí es más realista ya que la gente que viaja ve pelis o series en su netbook y está interesado en saber si va a haber saltos o no, por ejemplo. Obviamente, no es que vean pelis y/o series las 24 horas del día, pero cuando tienes un viaje y no te apetece trabajar (lo cual suele ocurri siempre), te pones a ver una peli.
- Battery Power Usage: esto SÍ es importante, especialmente cuando estás viajando y no puedes conectar el Netbook a la toma eléctrica. ¿Cuánto me va a durar la batería? ¿Voy a poder ver la peli entera? Algunos se preguntarán si pueden responder a todos sus e-mails, … pero eso consume menos batería ;)
- System Temperature Monitoring: sí estoy de acuerdo con esta prueba, pero no en cómo se ha hecho. para medir la temperatura, se ha lanzado la prueba de ffmpeg, 7-zip y OpenArena. Sí estoy de acuerdo en que se haga porque es muy interesante saber si se calienta mucho o no, pero no estoy de acuerdo con las pruebas utilizadas. Vamos a ver, un Netbook no se pone al 100% como si fuera un nodo de render. El consumo máximo lo tienes puntualmente (si estás, por ejemplo compilando) o también puedes tener una carga alta viendo una peli. Ya, se quiere saber hasta dónde se calienta, pero vuelvo a lo de antes, no es una medición real en un mundo Netbook. Se tendría que haber medido con la reproducción de vídeo o reproduciendo algún fichero de audio, que es lo «normal».
- Battery Monitor: ocurre lo mismo que en el caso anterior. Lo tendrían que haber medido en casos de uso normal de Netbook, no en casos extremos.
En fin, que lo que quiero no es criticar el trabajo de Phoronix, que me parece interesante que hagan lo que están haciendo y lo aplaudo, sino que tengáis cuidado a la hora de leer benchmarks. Recordad que un benchmark tiene que tener algún sentido y se tiene que entender por qué se ha hecho.
