Đặt \(A=\sqrt{a^2-1}+\sqrt{b^2+ab+3}\)

Điều kiện \(a,b\inℤ\); \(\orbr{\begin{cases}a\ge1\\a\le-1\end{cases}}\)và \(b^2+ab+3\ge0\)

Để A là số nguyên thì \(a^2-1\)và \(b^2+ab+3\)đều phải là các số chính phương.

Đặt \(\hept{\begin{cases}a^2-1=k^2\left(k\inℤ\right)\\b^2+ab+3=n^2\left(n\inℤ\right)\end{cases}}\)

Ta có: \(a^2-1=k^2\Leftrightarrow a^2-k^2=1\Leftrightarrow\left(a-k\right)\left(a+k\right)=1\)

Ta lập bảng sau:

Vậy \(a=\pm1\)

Khi \(a=1\)thì \(b^2+ab+3=b^2+b+3=n^2\)

\(\Leftrightarrow4b^2+4b+12=4n^2\Leftrightarrow4b^2+4b+1-4n^2=-11\Leftrightarrow\left(2b+1\right)^2-\left(2n\right)^2=-11\)

\(\Leftrightarrow\left(2b+1-2n\right)\left(2b+1+2n\right)=-11\)

Ta lại lập bảng giá trị:

Vậy \(\orbr{\begin{cases}b=2\\b=-3\end{cases}}\)

Như vậy ta tìm được hai bộ số (a;b) là (1;2) và (1;-3)

Khi \(a=-1\)thì \(b^2+ab+3=b^2-b+3=n^2\)\(\Leftrightarrow4b^2-4b+12=4n^2\Leftrightarrow4b^2-4b+1-4n^2=-11\Leftrightarrow\left(2b-1\right)^2-\left(2n\right)^2=-11\)

\(\Leftrightarrow\left(2b-1-2n\right)\left(2b-1+2n\right)=-11\)

Ta lại lập một bảng giá trị tiếp theo:

Vậy \(\orbr{\begin{cases}b=3\\b=-2\end{cases}}\)

Vậy ta tìm được hai bộ số (a;b) là (-1;-2) và (-1;3)

Như vậy các bộ số (a;b) thỏa mãn \(\sqrt{a^2-1}+\sqrt{b^2+ab+3}\)là số nguyên là: (1;2); (1;-3); (-1;-2) và (-1;3)