Chọn phương án B.

Phương trình đã cho vô nghiệm khi và chỉ khi $$\begin{aligned}
a^2+b^2< c^2&\Leftrightarrow m^2+4^2<6^2\\
&\Leftrightarrow m^2-20<0\\
&\Leftrightarrow-2\sqrt{5}<m<2\sqrt{5}
\end{aligned}$$
Theo đó thì $\begin{cases}
a=-2\sqrt{5}\\
b=2\sqrt{5}
\end{cases}$. Vậy $P=ab=-20$.