侵犯他人财产权者很可能会遭到法律的惩处，具体来说，这种行为可能被认定为侵占罪。
根据相关法律法规，侵占罪是指非法占有他人委托自己保管的财物，并且在数额较大、拒绝返还或交付的情况下实施的犯罪行为。若是在对方要求您归还已经退还的款项时，您仍然拒绝履行，那么只要涉及到的金额达到了一定的标准，就有可能触犯这一罪行。
然而，需要特别强调的是，侵占罪的成立必须满足两个条件：
首先，涉案财物原本应属他人所有；
其次，您对该财物负有返还的法定义务。

《中华人民共和国刑法》第二百七十条：
“将代为保管的他人财物非法占为己有，数额较大，拒不退还的，处二年以下有期徒刑、拘役或者罚金；数额巨大或者有其他严重情节的，处二年以上五年以下有期徒刑，并处罚金。”