Formado en el colegio de las monjas de Arroyomolinos, en las categorías inferiores del Alcuéscar, debutó en primera división en la temporada 2001-02, en un Real Madrid-Athletic de Bilbao, encuentro que ganó el Real Madrid 2-0, siendo Vicente del Bosque entrenador. Su buena actuación en dicho encuentro y en los partidos posteriores permitió su permanencia en el primer equipo. En este año, su primero en el primer equipo, disputó 28 partidos. En las temporadas siguientes, y a pesar de los continuos cambios de entrenador, se asentó como titular en la defensa madridista, pero a partir de la temporada 2004-05 su participación fue haciéndose más esporádica. Con la llegada de Fabio Capello al banquillo del Real Madrid, Pavón dejó de aparecer en las alineaciones del equipo y aunque solía ir convocado, apenas contaba para dicho entrenador.
Dio nombre al lema del club de la era de Florentino Pérez «Zidanes y Pavones» debido a sus buenas actuaciones y las de otros canteranos en los primeros años de Florentino como presidente. Florentino llegó a afirmar que al Real Madrid le bastaría con fichar una gran estrella por año, llegando a ser cubiertos los otros puestos con jugadores de la cantera blanca. Llegó libre al Real Zaragoza en 2007. Aunque comenzó de titular la mala marcha del equipo y los constantes cambios de entrenador ocasionan que sus apariciones en el conjunto maño fueron haciéndose cada vez menos habituales, ese año el Zaragoza bajaría a segunda división y Pavón permanecería en la plantilla maña durante el largo año en segunda. En la categoría de plata contó con una mayor presencia en el equipo aunque su situación esta lejos de ser la de indiscutible, a pesar de todo el Zaragoza culmina la campaña con el retorno a primera división.
La vuelta a la máxima categoría para la temporada 2009/10 no cambia la situación de Pavón, raramente juega y su presencia en el banquillo o la grada es lo más habitual por lo que en el verano de 2010 el Real Club Zaragoza le da la carta de libertad; ese verano Pavón ficha por el club francés AC Arles-Avignon, donde se reencuentra con un viejo conocido de la cantera madridista, Álvaro Mejía. En el año 2012 el ex-campeón de Europa tiene un bonito gesto al renunciar a la ayuda por desempleo al quedar en paro con 32 años. "Hay gente que lo necesita mas que yo y eso seria inmoral", admite.
