Phương trình $\left( 1 \right)\Leftrightarrow \left( x-y \right)\left( {{x}^{2}}-y+1 \right)=0\Leftrightarrow \left[ \begin{align} & y=x \\ & y={{x}^{2}}+1 \\ \end{align} \right.$

*  Thế vào PT (2) ta được: $3x\left( 2+\sqrt{9{{x}^{2}}+3} \right)+\left( 4x+2 \right)\left( \sqrt{1+x+{{x}^{2}}}+1 \right)=0$

            $\Leftrightarrow \left( 2x+1 \right)\left( \sqrt{{{\left( 2x+1 \right)}^{2}}+3}+2 \right)=\left( -3x \right)\left( 2+\sqrt{{{\left( -3x \right)}^{2}}+3} \right)$

            $\Leftrightarrow f\left( 2x+1 \right)=f\left( -3x \right)$

Xét $f\left( t \right)=t\left( \sqrt{{{t}^{2}}+3}+2 \right)$ có $f'\left( t \right)>0,\forall t\in \mathbb{R}$

Suy ra f(t) là hàm số đồng biến nên: $2x+1=-3x\Leftrightarrow x=-\frac{1}{5}\Rightarrow y=-\frac{1}{5}$

Đến đây coi như ta đã tìm được đáp án ! Nhưng ta cũng nên xét đến trường hợp còn lại.

* Trường hợp $y={{x}^{2}}+1$  thế vào phương trình (2) ta được :

            $3\left( {{x}^{2}}+1 \right)\left( 2+\sqrt{9{{x}^{2}}+3} \right)+\left( 4{{x}^{2}}+1+2 \right)\left( \sqrt{1+x+{{x}^{2}}}+1 \right)=0$

Vế trái luôn  dương =>  phương trình vô nghiệm.

Vậy hệ có nghiệm duy nhất: $\left( -\frac{1}{5};-\frac{1}{5} \right)$

Từ đó suy ra $S=5a-10b=-1+2=1$