当决定终止保留保释候审时，公安机关必须无条件地全额归还犯罪嫌疑人所缴纳的保证金。在未出现任何违反保留保释候审禁止性规定的情况下，如果公安机关拒绝退还保证金，当事人有权提出申诉或控告，而负责受理申诉或控告的相关机构应立即展开调查并妥善处理。倘若该机构仍然不予理会，当事人则有权利向上级机关进行申请。

《刑事诉讼法》第六十七条　
人民法院、人民检察院和公安机关对有下列情形之一的犯罪嫌疑人、被告人，可以取保候审：
（一）可能判处管制、拘役或者独立适用附加刑的；
（二）可能判处有期徒刑以上刑罚，采取取保候审不致发生社会危险性的；
（三）患有严重疾病、生活不能自理，怀孕或者正在哺乳自己婴儿的妇女，采取取保候审不致发生社会危险性的；
（四）羁押期限届满，案件尚未办结，需要采取取保候审的。
取保候审由公安机关执行。