Chọn phương án B.

Đặt $|z|=m\in\mathbb{R}^+$, ta có $$\begin{array}{lll}
&z-4&=(1+i)|z|-(4+3z)i\\
\Leftrightarrow&z-4&=(1+i)m-4i-3iz\,\,(1)\\
\Leftrightarrow&(1+3i)z&=(m+4)+(m-4)i\\
\Leftrightarrow&\big|(1+3i)z\big|&=\big|(m+4)+(m-4)i\big|\\
\Leftrightarrow&\big|(1+3i)\big|\cdot|z|&=\sqrt{(m+4)^2+(m-4)^2}\\
\Leftrightarrow&m\sqrt{10}&=\sqrt{(m+4)^2+(m-4)^2}\\
\Leftrightarrow&10m^2&=(m+4)^2+(m-4)^2\\
\Leftrightarrow&8m^2-32&=0\\
\Leftrightarrow&m&=2.
\end{array}$$
Thay $m=2$ vào (1) ta được $$z-4=2(1+i)-4i-3iz\Leftrightarrow z=\dfrac{6-2i}{1+3i}=-2i.$$
Vậy $\begin{cases}
a=0\\ b=-2
\end{cases}\Rightarrow P=a-3b=6$.