Lời giải:
Đặt $xy=a; x+y=b$ thì theo đề ta có:

$a+b=-1$ và $ab=-12$

Ta cần tính: $A=(x+y)^3-3xy(x+y)=b^3-3ab=b^3-3(-12)=b^3+36$
 

Từ $a+b=-1\Rightarrow a=-b-1$. Thay vào $ab=-12$
$\Rightarrow (-b-1)b=-12$
$\Leftrightarrow (b+1)b=12$

$\Leftrightarrow b^2+b-12=0$

$\Leftrightarrow (b-3)(b+4)=0$
$\Leftrightarrow b=3$ hoặc $b=-4$
Nếu $b=3$ thì $A=3^3+36=63$

Nếu $b=-4$ thì $A=(-4)^3+36=-28$

Ta có: \((x + y)xy = x^2 + y^2 - xy \quad (1)\)

\(M = \frac{x^3 + y^3}{x^3 y^3} = \frac{(x + y)(x^2 - xy + y^2)}{(xy)^3}\)

(1): \(\left(x+y\right)\cdot xy=x^2+y^2-xy\)

Do đó: \(M=\frac{xy\left(x+y\right)\left(x+y\right)}{\left(xy\right)^3}=\frac{\left(x+y\right)^2}{\left(xy\right)^2}\)

Đặt \(t = \frac{x + y}{xy} = \frac{1}{x} + \frac{1}{y}\)

=>\(M=t^2\)

(1): \((x + y)xy = x^2 + y^2 - xy\)

=>\((x+y)xy=(x+y)^2-3xy\)

=>\(\frac{x + y}{xy} = \left(\frac{x + y}{xy}\right)^2 - \frac{3}{xy}\)

=>\(t=t^2-\frac{3}{xy}\iff\frac{3}{xy}=t^2-t\iff xy=\frac{3}{t^2 - t}\)

\(\left(x+y\right)^2\ge4xy\)

=>\(\left(t\cdot xy\right)^2\ge4xy\)

=>\(t^2\cdot\left(xy\right)^2-4xy\ge0\)

=>xy\(\left(t\cdot xy-4\right)\) >=0

=>\(\frac{3}{t^2 - t} \left(t^2 \cdot \frac{3}{t^2 - t} - 4\right) \ge 0\)

=>\(\frac{3}{t^2 - t}\left(\frac{3t^2 - 4(t^2 - t)}{t^2 - t}\right)\ge0\)

=>\(\frac{3(4t - t^2)}{(t^2 - t)^2}\ge0\)

=>\(4t-t^2\ge0\)

=>\(t^2-4t\le0\)

=>t(t-4)<=0

=>0<t<=4

=>t∈(0;4]

\(M = t^2 \le 4^2 = 16\)

Dấu '=' xảy ra khi t=4

=>\(xy=\frac{3}{4^2 - 4}=\frac{3}{12}=\frac{1}{4};x+y=t\cdot xy=1\)

=>x,y là các nghiệm của phương trình:

\(A^2-A+\frac14=0\)

=>\(\left(A-\frac12\right)^2=0\)

=>A-1/2=0

=>A=1/2

=>x=y=1/2

x^2+y^2=(x+y)^2-2xy

=5^2-2*3

=25-6

=19

x^3+y^3=(x+y)^3-3xy(x+y)

=5^3-3*3*5

=125-9*5

=80

(x-y)^2=(x+y)^2-4xy=5^2-4*3=13

=>\(x-y=\sqrt{13}\)