Lời giải:
$y'=3x^2-6mx+3(m^2-1)=0$

$\Leftrightarrow x^2-2mx+m^2-1=0$

$\Leftrightarrow x=m+1$ hoặc $x=m-1$

Với $x=m+1$ thì $y=-2m-2$. Ta có điểm cực trị $(m+1, -2m-2)$

Với $x=m-1$ thì $y=2-2m$. Ta có điểm cực trị $m-1, 2-2m$

$f''(m+1)=6>0$ nên $A(m+1, -2m-2)$ là điểm cực tiểu

$f''(m-1)=-6< 0$ nên $B(m-1,2-2m)$ là điểm cực đại 

$BO=\sqrt{2}AO$

$\Leftrightarrow BO^2=2AO^2$

$\Leftrightarrow (m-1)^2+(2-2m)^2=2(m+1)^2+2(-2m-2)^2$

$\Leftrightarrow m=-3\pm 2\sqrt{2}$

.

Ta có : \(y'=3x^2-6x+m^2\Rightarrow y'=0\Leftrightarrow3x^2-6x+m^2=0\left(1\right)\)

Hàm số có cực trị \(\Leftrightarrow\left(1\right)\) có 2 nghiệm phân biệt \(x_1;x_2\)

                           \(\Leftrightarrow\Delta'=3\left(3-m^2\right)>0\Leftrightarrow-\sqrt{3}< m< \sqrt{3}\)

Phương trình đường thẳng d' đi qua các điểm cực trị là : \(y=\left(\frac{2}{3}m^2-2\right)x+\frac{1}{3}m^2\)

=> Các điểm cực trị là :

\(A\left(x_1;\left(\frac{2}{3}m^2-2\right)x_1+\frac{1}{3}m^2+3m\right);B\left(x_2;\left(\frac{2}{3}m^2-2\right)x_2+\frac{1}{3}m^2+3m\right);\)

Gọi I là giao điểm của hai đường thẳng d và d' :

\(\Rightarrow I\left(\frac{2m^2+6m+15}{15-4m^2};\frac{11m^2+3m-30}{15-4m^2}\right)\)

A và B đối xứng đi qua d thì trước hết \(d\perp d'\Leftrightarrow\frac{2}{3}m^2-2=-2\Leftrightarrow m=0\)

Khi đó \(I\left(1;-2\right);A\left(x_1;-2x_1\right);B\left(x_2;-2x_2\right)\Rightarrow I\) là trung điểm của AB=> A và B đối xứng nhau qua d

Vậy m = 0 là giá trị cần tìm

1.

Đồ thị hàm bậc 3 có 2 điểm cực trị nằm về 2 phía trục hoành khi và chỉ khi \(f\left(x\right)=0\) có 3 nghiệm phân biệt

\(\Leftrightarrow x^3+3x^2+mx+m-2=0\) có 3 nghiệm pb

\(\Leftrightarrow x^3+3x^2-2+m\left(x+1\right)=0\)

\(\Leftrightarrow\left(x+1\right)\left(x^2+2x-2\right)+m\left(x+1\right)=0\)

\(\Leftrightarrow\left(x+1\right)\left(x^2+2x+m-2\right)=0\)

\(\Leftrightarrow\left[{}\begin{matrix}x=-1\\x^2+2x+m-2=0\left(1\right)\end{matrix}\right.\)

Bài toán thỏa mãn khi (1) có 2 nghiệm pb khác -1

\(\Leftrightarrow\left\{{}\begin{matrix}1-2+m-2\ne0\\\Delta'=1-\left(m-2\right)>0\end{matrix}\right.\) 

\(\Leftrightarrow m< 3\)

2.

Pt hoành độ giao điểm:

\(\dfrac{2x-2}{x+1}=2x+m\)

\(\Rightarrow2x-2=\left(2x+m\right)\left(x+1\right)\)

\(\Leftrightarrow2x^2+mx+m+2=0\) (1)

d cắt (C) tại 2 điểm pb \(\Rightarrow\) (1) có 2 nghiệm pb

\(\Rightarrow\Delta=m^2-8\left(m+2\right)>0\Rightarrow\left[{}\begin{matrix}m>4+4\sqrt{2}\\m< 4-4\sqrt{2}\end{matrix}\right.\)

Khi đó, theo hệ thức Viet: \(\left\{{}\begin{matrix}x_A+x_B=-\dfrac{m}{2}\\x_Ax_B=\dfrac{m+2}{2}\end{matrix}\right.\)

\(y_A=2x_A+m\) ; \(y_B=2x_B+m\)

\(\Rightarrow AB^2=\left(x_A-x_B\right)^2+\left(y_A-y_B\right)^2=5\)

\(\Leftrightarrow\left(x_A-x_B\right)^2+\left(2x_A-2x_B\right)^2=5\)

\(\Leftrightarrow\left(x_A-x_B\right)^2=1\)

\(\Leftrightarrow\left(x_A+x_B\right)^2-4x_Ax_B=1\)

\(\Leftrightarrow\left(-\dfrac{m}{2}\right)^2-4\left(\dfrac{m+2}{2}\right)=1\)

\(\Leftrightarrow m^2-8m-20=0\Rightarrow\left[{}\begin{matrix}m=10\\m=-2\end{matrix}\right.\)

Ta có : \(y'=3x^2-6mx+3\left(m^2-1\right)\)

Để hàm số có cực trị thì phương trình \(y'=0\) có 2 nghiệm phân biệt

                                                             \(\Leftrightarrow x^2-2mx+m^2-1=0\) có 2 nghiệm phân biệt

                                                             \(\Leftrightarrow\Delta=1>0\) với mọi m

Cực đại của đồ thị hàm số là A(m-1;2-2m) và cực tiểu của đồ thị hàm số là B (m+1; -2-2m)

Theo giả thiết ta có :

                         \(OA=\sqrt{2}OB\Leftrightarrow m^2+6m+1\Leftrightarrow\begin{cases}m=-3+2\sqrt{2}\\m=-3-2\sqrt{2}\end{cases}\)

Vậy có 2 giá trị m là \(\begin{cases}m=-3+2\sqrt{2}\\m=-3-2\sqrt{2}\end{cases}\)

xA, xB lấy đâu vậy ạ?

a) Hàm có cực đại, cực tiểu khi mà $y'=-3x^2+2(m-1)x=x[2(m-1)-3x]$ có ít nhất hai nghiệm phân biệt $\Leftrightarrow 2(m-1)-3x=0$ có một nghiệm khác $0$ hay $m\neq 1$

b) Đồ thị hàm số $(\star)$ cắt trục hoành tại ba điểm phân biệt khi mà phương trình $y=-x^3+(m-1)x^2-m+2=0$ có $3$ nghiệm phân biệt

$\Leftrightarrow (1-x)[x^2+x(2-m)+(2-m)]=0$ có ba nghiệm phân biệt

$\Leftrightarrow x^2+x(2-m)+(2-m)=0$ có hai nghiệm phân biệt khác $1$

Do đó ta cần có $\left\{\begin{matrix}1+2-m+2-m=5-2m\neq 0\\ \Delta =(2-m)^2-4(2-m)>0\end{matrix}\right.$

Vậy để thỏa mãn đề bài thì $m\neq \frac{5}{2}$ và $m>2$ hoặc $m<-2$

c) Gọi điểm cố định mà đồ thị hàm số đi qua là $(x_0,y_0)$

$y_0=-x_0^3+(m-1)x_0^2-m+2$ $\forall m\in\mathbb{R}$

$\Leftrightarrow m(x_0^2-1)-(x_0^3+x_0^2+y_0-2)=0$ $\forall m\in\mathbb{R}$

$\Rightarrow\left{\begin{matrix}x_0^2=1\\ x_0^3+x_0^2+y_02=0\end{matrix}\right.\begin{bmatrix}(x_0,y_0)=(1;0)\\ (x_0,y_0)=(-1;2)\end{bmatrix}$

Viết lại đoạn cuối:

$\Rightarrow\left{\begin{matrix}x_0^2=1\\x_0^3+x_0^2+y_0-2=0\end{matrix}\right.$ $\Rightarrow \begin{bmatrix}(x_0,y_0)=(1;0)\\ (x_0,y_0)=(-1;2)\end{bmatrix}$

a. Hàm có 3 cực trị \(\Rightarrow m< 0\)

\(y'=8x^3+4mx=4x\left(2x^2+m\right)=0\Rightarrow\left[{}\begin{matrix}x=0;y=-\dfrac{3m}{2}\\x=-\sqrt{-\dfrac{m}{2}};y=-\dfrac{m^2+3m}{2}\\x=\sqrt{-\dfrac{m}{2}};y=-\dfrac{m^2+3m}{2}\end{matrix}\right.\)

Trong đó \(A\left(0;-\dfrac{3m}{2}\right)\) là cực đại và B, C là 2 cực tiêu

Do tam giác ABC luôn cân tại A \(\Rightarrow\) tâm I của đường tròn ngoại tiếp luôn nằm trên trung trực BC hay luôn nằm trên Oy

Mà tứ giác ABCO nội tiếp \(\Rightarrow OI=AI\Rightarrow I\)  là trung điểm OA (do I, O, A thẳng hàng, cùng nằm trên Oy)

\(\Rightarrow I\left(0;-\dfrac{3m}{4}\right)\)

Mặt khác trung điểm BC cũng thuộc Oy và IB=IC (do I là tâm đường tròn ngoại tiếp)

\(\Rightarrow\) I trùng trung điểm BC

\(\Rightarrow-\dfrac{3m}{4}=-\dfrac{m^2+3m}{2}\) \(\Rightarrow m\)

b.

Từ câu a ta thấy khoảng cách giữa 2 cực đại là:

\(\left|x_B-x_C\right|=2\sqrt{-\dfrac{m}{2}}=5\Rightarrow m=-\dfrac{25}{2}\)

Hàm số có cực đại, cực tiểu khi m<2. Tọa độ các điểm cực trị là :

\(A\left(0;m^2-5m+5\right);B\left(\sqrt{2-m};1-m\right);C\left(-\sqrt{2-m};1-m\right)\)