这主要依赖于具体的契约协议以及其违约情节。
若相关协议明文规定在任何一方违约的情况下，代理费用均不得予以返还，而且这项规定并不违反现行法律法规的强制性规定，此时一般的情况是，代理费用可以不必予以退还。
然而，如果契约中并未明确制定此项规定，或者规定不够清晰严谨，那就需要我们更加全面地考虑到代理服务的实施状况，违约方的错误程度等等多方面因素。
举例来说，要是代理机构已经完成了绝大多数关键业务工作，即便是由于某一方的违约行为，也有可能不需要全部退还代理费用，而仅凭实际情况酌情给予退还部分。
总而言之，对于此类事务应当进行深入细致的分析研究，并通过对契约条款以及实际执行情况的详尽审视，才能妥善解决代理费退还的争议问题。