协议离婚把孩子抚养权要回来须经过协商，协商不成的可以诉讼至法院变更抚养权。
变更孩子抚养权必须符合法定的情形：
1、与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的;
2、与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的;
3、十周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的;有其他正当理由需要变更的。