若房屋买卖合同中的违约责任金收取过多或过于超额，以至于远超于实际所带来的损失时，法院或仲裁机构有权依据相关法律规定，按照双方当事人的申请以及具体情况给予适度降低。
然而，在衡量及调整约定违约金是否过高，以及相应降幅程度时，通常需以债权人所遭受的实际损失为参照基本准则。
值得注意的是，司法实践过程中，对此一问题的界定标准一般为:
当双方当事人确定的违约金数额已超出给债权人带来损失的30%时，通常会被认定为“明显过度偏离实际损失”。

《民法典》第五百八十五条
当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。
约定的违约金低于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以增加；约定的违约金过分高于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以适当减少。
当事人就迟延履行约定违约金的，违约方支付违约金后，还应当履行债务。