a.  \(x^2\left(y-1\right)+y^2\left(x-1\right)=1\)

<=> \(x^2y+y^2x-\left(x^2+y^2\right)=1\)

<=> \(xy\left(x+y\right)-\left(x+y\right)^2+2xy=1\)

Đặt: x + y = u; xy = v => u; v là số nguyên

Ta có: uv - \(u^2+2v=1\)

<=> \(u^2-uv-2v+1=0\) 

<=> \(u^2+1=v\left(2+u\right)\)

=> \(u^2+1⋮2+u\)

=> \(u^2-4+5⋮2+u\)

=> \(5⋮2-u\)

=> 2 - u = 5; 2 - u = -5; 2- u = 1; 2- u = -1 

Mỗi trường hợp sẽ tìm đc v 

=> x; y 

\(\Leftrightarrow9x^2-6x\left(16y+24\right)+\left(16y+24\right)^2=9x^2+16x+32\)

\(\Leftrightarrow x\left(3y+5\right)=8y^2+24y+17\)

\(\Leftrightarrow x=\dfrac{8y^2+24y+17}{3y+5}\in Z\)

\(\Rightarrow9x=\dfrac{9\left(8y^2+24y+17\right)}{3y+5}\in Z\)

\(\Rightarrow24y+62-\dfrac{157}{3y+5}\in Z\)

\(\Rightarrow3y+5=Ư\left(157\right)=\left\{-157;-1;1;157\right\}\)

\(\Rightarrow y=...\)

b: \(x^2-3y^2+2xy-2x-10y+4=0\)

=>\(x^2+2x\left(y-1\right)+\left(y-1\right)^2-\left(4y^2+8y+4\right)=-7\)

=>\(\left(x+y-1\right)^2-\left(2y+2\right)^2=-7\)

=>(x+y-1-2y-2)(x+y-1+2y+2)=-7

=>(x-y-3)(x+3y+1)=-7

=>(y-x+3)(3y+x+1)=7

mà 7 là số nguyên tố

nên ta có các trường hợp sau:

TH1: 3y+x+1=7 và y-x+3=1

=>x+3y=6 và -x+y=-2

=>x+3y-x+y=6-2 và x-y=2

=>4y=4 và x=y+2

=>y=1 và x=1+2=3

TH2: 3y+x+1=-7 và y-x+3=-1

=>x+3y=-8 và -x+y=-4

=>x+3y-x+y=-8-4

=>4y=-12

=>y=-3

-x+y=-4

=>x-y=4

=>x=y+4=-3+4=1

TH3: 3y+x+1=1 và y-x+3=7

=>3y+x+y-x+1+3=1+7

=>4y+4=8

=>4y=4

=>y=1

y-x+3=7

=>1-x+3=7

=>4-x=7

=>x=4-7=-3