Chọn phương án C.

Gọi $N$ là trung điểm cạnh $SC$, dễ thấy $MN$ là đường trung bình của tam giác $SBC$, tức là $MN\parallel SB$.
Do đó $(AM,SB)=(AM,MN)=\widehat{AMN}$.

• $\triangle ABC$ vuông cân tại $A$ nên $AM=\dfrac{BC}{2}=5\sqrt{2}$.
• $MN$ là đường trung bình của $\triangle SBC$ nên $MN=\dfrac{SB}{2}=5$.
• $\triangle SAC$ đều nên $AN=SA\cdot\dfrac{\sqrt{3}}{2}=5\sqrt{3}$.

Vì $AM^2+MN^2=AN^2$ nên $\triangle AMN$ vuông tại $M$.

Vậy $\alpha=\widehat{AMN}=90^\circ$. Suy ra $\cos\alpha=0$.