构成诈骗罪是要判处刑罚的，是否将钱退给对方只是在一定程度上影响诈骗罪的刑期，在司法实务中诈骗财物数额如果不是特别巨大，且有坦白、退赃并取得被害人谅解的话，一般可以以缓刑处理。
1.诈骗公私财物，数额较大的，处三年以下有期徒刑、拘役或者管制，并处或者单处罚金；
2.数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处罚金；
3.数额特别巨大或者有其他特别严重情节的，处十年以上有期徒刑或者无期徒刑，并处罚金或者没收财产。

《刑法》第二百六十六条
诈骗公私财物，数额较大的，处三年以下有期徒刑、拘役或者管制，并处或者单处罚金；数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处罚金；数额特别巨大或者有其他特别严重情节的，处十年以上有期徒刑或者无期徒刑，并处罚金或者没收财产。本法另有规定的，依照规定。