当符合法定条件之时，取保候审保证金方得以退还。
若被取保候审者在取保候审期间之内并无任何违法行为出现，例如未经执行机关允许而擅自离开居住城市或县区，亦或是未曾干扰证人提供证据等情况发生的话，那么在取保候审期限届满之日起，即可凭借着解除取保候审通知书或者其他与之相匹配的法律文书前往银行领取退还的保证金。
然而值得提出的是，该保证金是否能够如愿退回，乃至其退还金额的多寡，终究还是要依据案件的实际情况及相配套的法律流程来定夺。
或许在某些情形下，若案件尚处于侦查、审查起诉甚至审判阶段之中，我们有必要耐心等待相应程序陆续完成之后，方能着手处理退还手续事宜。
综上所述，但凡严格遵守规则制度，五万元保证金理应依法完全予以退还。