双方可以协商解除收养关系。
具体情况是：
一、收养人不履行抚养义务，有虐待、遗弃等侵害未成年养子女合法权益行为的，送养人有权要求解除养父母与养子女的收养关系；
二、养父母与成年养子女关系恶化，无法共同生活的，可以协议解除收养关系。

《民法典》第一千一百一十四条
收养人在被收养人成年以前，不得解除收养关系，但是收养人、送养人双方协议解除的除外。养子女八周岁以上的，应当征得本人同意。