Le jeune Philippe Mexès s'initie au football à Toulouse avant de poursuivre sa formation à l'AJ Auxerre. Alors qu'il vient à peine de remporter la coupe Gambardella il prend rapidement du galon au sein du club au point d'effectuer ses débuts en Ligue 1 à l'âge de 17 ans lors du match Auxerre-Troyes du 10 novembre 1999, puis d'inscrire son premier but le 8 décembre face à l'AS Monaco. Mexès apparaît régulièrement au sein de la défense auxerroise à partir de la saison 2000-2001. Son premier match en Ligue des champions a lieu lors de la saison 2002-2003 où Auxerre élimine le Boavista Porto au tour préliminaire et se qualifie pour la première phase. En fin de saison l'AJA remporte la coupe de France face au Paris SG. En 2003-2004, lors de la dernière saison de Philippe Mexès à Auxerre le club est battu en 1/8èmes de finale de la Coupe UEFA par le PSV Eindhoven.