Pour p>2: Soit A notre matrice et B=A-I_n.
Supposons que B n'est pas 0, puis appelons t le plus grand entier naturel tel que p^t divise toutes les [B]_{ij} où i,j= 1,n.
On a alors que [B^k]_{ij} est divisible par p^{tk}.
A^k= (I_n+B)^r= I_n+ rB+ o(B^2)= I_n, donc on doit avoir rB+ o(B^2)=0. Mais l'on a que rB a un terme qui n'est pas divisible par p^{t+1} et o(B^2) a tous ses termes divisibles par p^{t+1} ce qui nous amène à la contradiction.
Petite remarque: B a tous ses termes divisibles par p.
En modifiant un peu mon raisonnement, ça s'applique aussi pour p=2.