若主张索回子女抚养权，可通过诉讼方式解决。
依据我过相关法律法规，以下情况之一的子女抚养问题，当父母一方向法院提出变更要求时，法院需予以承认及授权：（1）在与子女共同生活的一方，由于患有严重疾病或可能丧失劳动能力而无法继续承担照顾、养育;
（2）对孩子实施虐待行为或是日常生活中怠于承担扶助义务，这些行为对孩子的身体和心灵健康产生了明显负面影响;
（3）如果孩子已经年满八岁且意愿跟随另一方生活，并且该放有足够的抚养能力照顾他/她;
（4）如果具备其他适当理由和证据,需要变更孩子的抚养安排。

最高人民法院关于适用《中华人民共和国民法典》婚姻家庭编的解释(一)第五十六条
具有下列情形之一，父母一方要求变更子女抚养关系的，人民法院应予支持：
(一)与子女共同生活的一方因患严重疾病或者因伤残无力继续抚养子女；
(二)与子女共同生活的一方不尽抚养义务或有虐待子女行为，或者其与子女共同生活对子女身心健康确有不利影响；
(三)已满八周岁的子女，愿随另一方生活，该方又有抚养能力；
(四)有其他正当理由需要变更。