在实践中，存在以下几种常见的情形下，可以认定为不予退还违约金的情形：
第一种，如果在双方签订的合同时，已经明确约定了对于某种特定的违约行为，其所产生的违约金将不必予以退还。
而且这个约定并不违背任何的法律法规中的强制性规定，那么在这种违约现象发生之时，违约金是不必被归还的。
第二种，假设违约方的违约行为对守约方造成的损失已经超过了之前约定的违约金的金额，那么守约方在主张自身损失得到赔偿之后，其已经获得的违约金可能会被豁免返还的义务。
此外，若是违约行为的性质极为恶劣，严重违反了坦诚诚信的基本原则，并直接导致原定合作目的无法达成的话，此时违约金也可能被判定不必退还。
然而需要特别强调的是，对于是否决定退还违约金这一问题的最终评估与判断，需要结合到双方事先签订的合同条款、实际违约情节、以及它们分别带来的损失等多个关键因素，并且在此基础上，通过由法院或仲裁机构严格依据公平正义原则及诚实守信原则来进行公正合理地裁量处理。