在无效房屋买卖合同的情况下，购房者有权选择退房。通常来说，当房屋买卖合同被判定为无效时，买卖双方需要还原到原有的状态，即是签订协议前的状态。如果对方已经收取了款项，那么购房者有权要求其立即退还。关于这笔款项的返还时间，双方可以自行协商确定，并无明确的法律规定。
然而，从理论上来讲，自合同被判定无效之日起，购房者就可以向对方提出退款请求。

《民法典》第一百五十五条无效的或者被撤销的民事法律行为自始没有法律约束力。