a) Khi \(m = 3\), phương trình đã cho trở thành: \(x^{2} - 6 x + 5 = 0\).

Vì \(a + b + c = 1 - 6 + 5 = 0\) nên phương trình có hai nghiệm \(x_{1} = 1\) và \(x_{2} = 5\).

b) Vì \(a + b + c = 1 - 2 m + 2 m - 1 = 0\) nên phương trình có nghiệm \(x_{1} = 1\) và \(x_{2} = 2 m - 1\) với mọi giá trị của \(m\).

Ta có: \(A = \frac{4 \left(\right. x_{1} x_{2} + 1 \left.\right)}{x_{1}^{2} + x_{2}^{2} + 2 \left(\right. 2 + x_{1} x_{2} \left.\right)} = \frac{4 \left(\right. x_{1} x_{2} + 1 \left.\right)}{\left(\right. x_{1} + x_{2} \left.\right)^{2} + 4} = \frac{4 \left(\right. 2 m - 1 + 1 \left.\right)}{\left(\right. 2 m - 1 + 1 \left.\right)^{2} + 4} = \frac{8 m}{4 m^{2} + 4} = \frac{2 m}{m^{2} + 1}\)

Lại có: \(\left(\right. m + 1 \left.\right)^{2} \geq 0 ,\) với mọi \(m\)

\(2 m \geq - \left(\right. m^{2} + 1 \left.\right)\) với mọi \(m\)

\(\frac{2 m}{\left(\right. m^{2} + 1 \left.\right)} \geq - 1\)  với mọi \(m\)

Suy ra \(A \geq - 1\) với mọi \(m\).

Dấu "=" xảy ra khi và chỉ khi \(m = - 1\).

Suy ra \(A\) đạt giá trị nhỏ nhất bằng \(- 1\) khi \(m = - 1\).

a) Giải phương trình (1) khi \(m = 4\).

Thay \(m = 4\) vào phương trình (1) ta được: \(x^{2} + 2 x - 8 = 0\)

Ta có: \(\Delta^{'} = 1 + 8 = 9 = 3^{2} > 0\) nên phương trình có hai nghiệm phân biệt:

\(x_{1} = - 1 + \sqrt{9} = 2 ; x_{2} = - 1 - \sqrt{9} = - 4\).

Vậy phương trình có nghiệm \(x_{1} = 2 ; x_{2} = - 4\).

b) Phương trình (1) có: \(\Delta = \left(\right. m - 2 \left.\right)^{2} + 32 > 0\) với mọi \(m\) nên phương trình (1) luôn có hai nghiệm phân biệt \(x_{1} ; x_{2}\).

Khi đó theo Viète ta có: \(x_{1} + x_{2} = - m + 2 ; x_{1} x_{2} = - 8\)

Ta có: \(Q = \left(\right. x_{1}^{2} - 1 \left.\right) \left(\right. x_{2}^{2} - 1 \left.\right)\)

\(= x_{1}^{2} x_{2}^{2} - \left(\right. x_{1}^{2} + x_{2}^{2} \left.\right) + 1\)

\(= x_{1}^{2} x_{2}^{2} - \left(\left(\right. x_{1} + x_{2} \left.\right)\right)^{2} + 2 x_{1} x_{2} + 1\)

\(= 64 - \left(\left(\right. - m + 2 \left.\right)\right)^{2} - 16 + 1 = - \left(\left(\right. - m + 2 \left.\right)\right)^{2} + 49 \leq 49\) với mọi \(m\).

Vậy GTLN của \(Q\) bằng \(49\).

Dấu "=" xảy ra khi \(m = 2\).

Vậy giá trị lớn nhất của \(Q\) bằng \(49\) đạt được khi \(m = 2\).

Phương trình \(x^{2} - 2 \left(\right. m - 3 \left.\right) x - 6 m - 7 = 0\) có \(\Delta^{'} = \left(\right. m - 3 \left.\right)^{2} + 6 m + 7 = m^{2} + 16 > 0\) với mọi \(m \in \mathbb{R}\).

Suy ra phương trình trên luôn có hai nghiệm phân biệt \(x_{1} ; x_{2}\).

Theo định lí Viète ta có: \(\begin{cases}x1+x2=2m-6x\\ x2=-6m-7\end{cases}\).

Ta có \(C = \left(\right. x_{1} + x_{2} \left.\right)^{2} + 8 x_{1} x_{2}\)

\(= \left(\right. 2 m - 6 \left.\right)^{2} + 8 \left(\right. - 6 m - 7 \left.\right)\)

\(= 4 m^{2} - 24 m + 36 - 48 m - 56\)

\(= 4 m^{2} - 72 m - 20\)

\(= 4 \left(\right. m^{2} - 18 m + 81 \left.\right) - 4.81 - 20\)

\(= 4 \left(\right. m - 9 \left.\right)^{2} - 344 \geq - 344 ,\) với mọi \(m \in \mathbb{R}\) (vì \(4 \left(\right. m - 9 \left.\right)^{2} \geq 0 , \forall m \in \mathbb{R}\))

Dấu "=" xảy ra khi và chỉ khi \(m - 9 = 0\) hay \(m = 9\).

Vậy GTNN của \(C\) là \(- 344\) đạt tại \(m = 9\).

Theo định lí Viète ta có: \(\left{\right. & x_{1} + x_{2} = 2 m - 6 \\ & x_{1} . x_{2} = - 6 m - 7\).

Ta có \(C = \left(\right. x_{1} + x_{2} \left.\right)^{2} + 8 x_{1} x_{2}\)

\(= \left(\right. 2 m - 6 \left.\right)^{2} + 8 \left(\right. - 6 m - 7 \left.\right)\)

\(= 4 m^{2} - 24 m + 36 - 48 m - 56\)

\(= 4 m^{2} - 72 m - 20\)

\(= 4 \left(\right. m^{2} - 18 m + 81 \left.\right) - 4.81 - 20\)

\(= 4 \left(\right. m - 9 \left.\right)^{2} - 344 \geq - 344 ,\) với mọi \(m \in \mathbb{R}\) (vì \(4 \left(\right. m - 9 \left.\right)^{2} \geq 0 , \forall m \in \mathbb{R}\))

Dấu "=" xảy ra khi và chỉ khi \(m - 9 = 0\) hay \(m = 9\).

Vậy GTNN của \(C\) là \(- 344\) đạt tại \(m = 9\).