视具体情况而定。如果是给付定金的一方不履行义务，另一方有权不退回定金。如果是收受定金一方不履行义务，可以直接要求当事人按照合同退还定金，如果拒不履行支付定金的，可以直接向法院提起诉讼。
《民法典》 第五百八十六条 当事人可以约定一方向对方给付定金作为债权的担保。定金合同自实际交付定金时成立。定金的数额由当事人约定；但是，不得超过主合同标的额的百分之二十，超过部分不产生定金的效力。实际交付的定金数额多于或者少于约定数额的，视为变更约定的定金数额。