需依您签署的房屋购买协议中所列明的详细条款而定。
通常而言，倘若协议中明确指出在特定条件下解除合约将会引发违约金支付，并且您目前面临的状况与之相吻合，那麽您极有可能不得不承担违约金的支付责任。
然而，若您能够证明对方确实存在违反协议约定的行为，又或存在法律规定的可以解除合约的事由，比方说合同存在欺诈、受胁迫等现象使其成为可撤销的合同，或者因不可抗力等因素导致合同无法继续履行，那么您或许就无须支付违约金。
总的来说，我们需要根据购房协议的具体内容以及相关事实情况进行深入分析，才能确定您是否需要支付违约金。
在此，我们强烈建议您携带购房协议及其他相关文件资料，寻求专业律师的帮助，以便获取更为精准的法律意见。