房屋买卖协议中规定的定金在特定情形下是可以撤回的，然而这需要满足一些具体的先决条件。当双方按照约定如期履行各自义务时，定金应当充作房款或者被退还给原业主;倘若由于不可抗力的自然因素以及其他非人为因素导致无法签订买卖合同且责任并不属于任何一方的话,那么原业主是有权将定金返还给买家的;如果是因为卖方单方面违约导致交易无法继续进行下去的话,那么买方有权要求卖方退还双倍的定金。

《民法典》第五百八十六条　
当事人可以约定一方向对方给付定金作为债权的担保。定金合同自实际交付定金时成立。定金的数额由当事人约定；但是，不得超过主合同标的额的百分之二十，超过部分不产生定金的效力。实际交付的定金数额多于或者少于约定数额的，视为变更约定的定金数额。
第五百八十七条　
债务人履行债务的，定金应当抵作价款或者收回。给付定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，无权请求返还定金；收受定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，应当双倍返还定金。