购房者向卖方缴纳的首付款通常是可以被退还的。在特殊情况下，若买卖双方经双方共同商议并达成统一意见，决定解除已签署的协议，且协商同时包含退还首付款之内容，那么此种情形之下，首付款确实能够得到退还。然而，若该合同中未另外特别明确解除之权利义务关系，就不可自由解除该合同。在此种情况下，合同相对方有权要求继续履行原协议或要求支付相应违约金。这时候，首付款是否需要退回便需依据该合同中的具体条款和相关法律法规来判定。

《民法典》第五百六十二条
当事人协商一致，可以解除合同。
当事人可以约定一方解除合同的事由。解除合同的事由发生时，解除权人可以解除合同。
《民法典》第五百六十三条
有下列情形之一的，当事人可以解除合同：
(一)因不可抗力致使不能实现合同目的;
(二)在履行期限届满前，当事人一方明确表示或者以自己的行为表明不履行主要债务;
(三)当事人一方迟延履行主要债务，经催告后在合理期限内仍未履行;
(四)当事人一方迟延履行债务或者有其他违约行为致使不能实现合同目的;
(五)法律规定的其他情形。
以持续履行的债务为内容的不定期合同，当事人可以随时解除合同，但是应当在合理期限之前通知对方。