Mathieu começou no tênis com apenas três anos de idade, e em 1997 já treinava para ser profissional na Flórida. No ano de 2000, Paul-Henri ganhou o Roland-Garros júnior, superando o espanhol Tommy Robredo.
Mathieu disputou seu primeito torneio do Grand Slam em 2001, alcançando as quartas-de-finais em Roland-Garros. Em 2002 decidiu o título da Copa Davis pela França contra a Rússia, mas acabou perdendo para Mikhail Youzhny na partida decisiva; em 2002 ainda ganhou em Lyon, vencendo Gustavo Kuerten na final. Nas temporadas seguintes, apenas conseguiu bons resultados, mas ainda não repetiu o feito de juvenil de ganhar um Grand Slam. Em 2008 conquista seu melhor ranking (12°) na ATP corrida de entradas.