J'ai trouvé une solution,
mais elle est très très très loin du niveau collège.
En fait j'ai calculé explicitement a et b.
L'idée est de se placer dans le Q espace vectoriel engendré par ( 1 , racine(2) )
Et de considérer la matrice de l'endomorphisme qui à
a +bracine(2) associe ( a+b*racine(2) )( 1 + racine(2) ).
Puis on diagonalise, puis on calcul donc ( 1+ racine(2) ) puissance n...
Et plein de calcule après on trouve un truc tout moche.
Et on peut calculer a^2+2b^2.
L'idée de se placer dans un Q espace vectoriel, me semble judicieuse car
a^2+2b^2 ressemble beaucoup à une norme sur cette espace.
( d'ailleurs, c'en est une ).
Si le problème est en réalité a^2-2b^2, alors il y a sûrement d'autres méthodes.