并不是离婚时男方一定要赔偿女方，只有男方具有重大过错，并且双方是因为男方的重大过错行为才导致离婚的情况下，男方才需要向女方进行离婚损害赔偿。重大过错行为指的是以下行为：
（一）重婚；
（二）与他人同居；
（三）实施家庭暴力；
（四）虐待、遗弃家庭成员；
（五）有其他重大过错。

《民法典》第一千零九十一条
有下列情形之一，导致离婚的，无过错方有权请求损害赔偿：
（一）重婚；
（二）与他人同居；
（三）实施家庭暴力；
（四）虐待、遗弃家庭成员；
（五）有其他重大过错。