Chọn phương án D.

\(\begin{eqnarray*}
&\log_2^2(4x)-\log_{\sqrt{2}}(2x)&=5\\
\Leftrightarrow&\left(\log_2(4x)\right)^2-\log_{2^{\frac{1}{2}}}(2x)&=5\\
\Leftrightarrow&\left(\log_24+\log_2x\right)^2-2\left(\log_22+\log_2x\right)&=5\\
\Leftrightarrow&\left(2+\log_2x\right)^2-2\left(1+\log_2x\right)&=5\\
\Leftrightarrow&\left(\log_2x\right)^2+2\log_2x-3&=0\\
\Leftrightarrow&\left[\begin{array}{l}\log_2x=1\\ \log_2x=-3\end{array}\right.\\
\Leftrightarrow&\left[\begin{array}{l}x=2\\ x=\dfrac{1}{8}\end{array}\right.
\end{eqnarray*}\)

Vậy nghiệm nhỏ nhất của phương trình là \(\dfrac{1}{8}\in(0;1)\).