具体情况得具体分析。
倘若离婚的缘由是男方存在过错行为，像是重婚，也就是有两个及以上的婚姻关系；
与他人非法同居，即与配偶之外的人共同居住生活；
还有实施家庭暴力，对配偶身体造成伤害等情况，那么在离婚的时候，男方是有权利要求赔偿损失的，这里的损失既包括因为离婚而带来的经济方面的损失，比如因为离婚导致的生意受挫、财产减值等。
要是离婚是由于双方感情破裂等正常的原因，婚前的财产是各自归各自所有的，男方自然不能要回婚前给女方的钱。
而婚后的共同财产，一般是按照平均的原则来进行分割的。
不过，如果男方能够拿出确凿的证据，证明女方有转移共同财产，把财产偷偷转到自己名下或者其他地方，或者隐匿共同财产，不让男方知晓其具体去向等行为，那么在分割财产的时候，男方就可以主张少分给女方或者不分给女方，这样就能在一定程度上挽回自己的损失。
总而言之，必须依据具体的案件事实以及相关的证据来判定男方是否可以要回钱，不能简单地一概而论，要综合多方面的因素进行考量。