Chọn phương án D.

Đặt $A=\displaystyle\int\limits_0^1\dfrac{x^2+2x}{(x+3)^2}\mathrm{\,d}x$ ta được $$A=\dfrac{a}{4}-4\ln\dfrac{4}{b}\Leftrightarrow a=4A+16\ln\dfrac{4}{b}$$

Vì $a,\,b$ nguyên dương nên ta khảo sát hàm số $f(x)=4A-16\ln\dfrac{4}{x}$ với $x\in\mathbb{Z}^+$ bằng chức năng TABLE của máy tính cầm tay.

1. Gán giá trị $\displaystyle\int\limits_0^1\dfrac{x^2+2x}{(x+3)^2}\mathrm{\,d}x$ vào biến nhớ A.
   
   
2. Nhập hàm số $f(x)=4A+16\ln\dfrac{4}{x}$.
   
   
3. Chọn Start=1, End=20 và Step=1.
   
   
4. Ta tìm giá trị $f(x)$ nguyên dương.
   
   

Vậy $b=x=3$ và $a=f(x)=5$. Do đó, $a^2+b^2=34$.

Chọn phương án D.

\(\begin{eqnarray*}
&\displaystyle\int\limits_0^1\dfrac{x^2+2x}{(x+3)^2}\mathrm{\,d}x&=\displaystyle\int\limits_0^1\dfrac{\left(x^2+6x+9\right)-(4x+12)+3}{(x+3)^2}\mathrm{\,d}x\\
&&=\int\limits_0^1\left[1-\dfrac{4}{x+3}+\dfrac{3}{(x+3)^2}\right]\mathrm{\,d}x\\
&&=\left(x-4\ln|x+3|-\dfrac{3}{x+3}\right)\bigg|_0 ^1\\
&&=\dfrac{5}{4}-4\ln\dfrac{4}{3}.\end{eqnarray*}\)

Theo đó \(a=5,\,b=3\Rightarrow a^2+b^2=34\).