Chọn phương án C.

Phương trình hoành độ giao điểm: $$-x^2+2x=-3x\Leftrightarrow x^2-5x=0\Leftrightarrow\left[\begin{array}{l}
x=0\\ x=5
\end{array}\right.$$
Bảng xét dấu:

Khi đó: $$\begin{eqnarray*}
S&=&\int\limits_0^5\left|x^2-5x\right|\mathrm{d}x\\
&=&\int\limits_0^5\left(-x^2+5x\right)\mathrm{d}x\\
&=&\left(-\dfrac{x^3}{3}+\dfrac{5x^2}{2}\right)\bigg|_0^5\\
&=&\dfrac{125}{6}.
\end{eqnarray*}$$