若能提供相关证据证实对方确实存在违反约定的行为，并且该行为直接影响到房屋买卖合同的正常履行和实施，则可据此要求对方返还已支付的定金。在双方按照约定顺利履行义务的情况下，定金应当作为买卖价格的一部分进行结算，或者予以全额退回；倘若由于特殊情况（如自然因素）导致双方无法签订正式的买卖合同，或者在对协议以及补充协议的具体条款上无法达成共识，进而无法完成签约过程，这种情况并不属于任一方的过错，那么定金是可以被无条件退回的；如果卖方单方面违约，导致交易无法继续进行，那么定金可以被全额退回，同时还需承担双倍的赔偿责任；除上述两种情况之外，其他所有情况下的定金都不得退还。

《民法典》第五百八十七条
债务人履行债务的，定金应当抵作价款或者收回。给付定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，无权请求返还定金;收受定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，应当双倍返还定金。