对于购房时所支付的定金是否合法地不予退还，这取决于具体的情况和事实。在某些情况下，如果支付定金的一方出现违约行为，那么接收定金的一方有权拒绝退还定金，这种做法是符合法律规定的。然而，如果接收定金的一方违反了合同约定，没有按照承诺进行双倍返还，那么这种行为就构成了违法行为。此时，支付定金的一方有权利通过向当地人民法院提起诉讼来维护自己的权益，要求对方返还双倍的定金。

《中华人民共和国民法典》第五百八十六条
当事人可以约定一方向对方给付定金作为债权的担保。定金合同自实际交付定金时成立。定金的数额由当事人约定;但是，不得超过主合同标的额的百分之二十，超过部分不产生定金的效力。实际交付的定金数额多于或者少于约定数额的，视为变更约定的定金数额。