根据法律规定，夫妻双方离婚的，不抚养子女一方当事人需要支付抚养费。
抚养费应定期给付，有条件的可一次性给付。
对一方无经济收入或者下落不明的，可用其财物折抵子女的抚养费。
父母双方可以协议子女随一方生活并由抚养方负担子女全部抚养费。
因此，男方不抚养子女的，应当给付抚养费。

《民法典》第一千零八十五条
离婚后，子女由一方直接抚养的，另一方应当负担部分或者全部抚养费。负担费用的多少和期限的长短，由双方协议；协议不成的，由人民法院判决。前款规定的协议或者判决，不妨碍子女在必要时向父母任何一方提出超过协议或者判决原定数额的合理要求。