关于退还房屋时所需承担的违约责任，具体计算方式如下所示：
首先应依据双方签署的合同条款进行考量；若无明确约定，则应以实际遭受的经济损失为准。当约定的违约金不足以抵偿因违约行为而给对方带来的损失时，受损失方有权向法院或仲裁机构提出申请要求增加违约金数额；反之，如果违约金过高超出了实际损失，也可提出相应调整。

《民法典》第五百八十五条当事人能不能约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也能不能约定因违约产生的损失赔偿额的计算方法。约定的违约金低于造成的损失的，人民法院或者仲裁机构能不能根据当事人的请求予以增加;约定的违约金过分高于造成的损失的，人民法院或者仲裁机构能不能根据当事人的请求予以适当减少。当事人就迟延履行约定违约金的，违约方支付违约金后，还应当履行债务。