Vì S.ABC là hình chóp tam giác đều nên tâm O của mặt cầu ngoại tiếp hình chóp đó nằm trên đường cao SH, trong đó H là trọng tâm của tam giác đều ABC.

Gọi I là trung điểm của cạnh SA. Ta có $OI\bot SA$. Khi đó hai tam giác vuông SIO và SHA đồng dạng. Từ đó ta suy ra $\frac{SO}{SA}=\frac{SI}{SH}=\frac{SA}{2SH}$.

Do đó $SO=\frac{S{{A}^{2}}}{2SH}=r$ (với r là bán kính mặt cầu ngoại tiếp hình chóp).

Để ý rằng $S{{H}^{2}}=S{{A}^{2}}-A{{H}^{2}}={{b}^{2}}-{{\left( \frac{2}{3}.\frac{a\sqrt{3}}{2} \right)}^{2}}$

Ta tính được $SH=\sqrt{\frac{3{{b}^{2}}-{{a}^{2}}}{3}}=\frac{1}{\sqrt{3}}\sqrt{3{{b}^{2}}-{{a}^{2}}}$.

Vậy $r=\frac{S{{A}^{2}}}{2SH}=\frac{{{b}^{2}}}{\frac{2}{\sqrt{3}}\sqrt{3{{b}^{2}}-{{a}^{2}}}}=\frac{\sqrt{3}{{b}^{2}}}{2\sqrt{3{{b}^{2}}-{{a}^{2}}}}$

Ta chọn phương án A.