签署离婚协议时候有精神病不算数。
精神病人想要离婚的，应当通过诉讼方式。因为精神病人属于无民事或者限制民事行为能力人，其民事行为应当由其法定代理人代理，但是签署离婚协议的法律行为是不可以被代理的。
因此，签署离婚协议时候有精神病的，因为一方不具有相应的民事行为能力而无效。

《民法典》第一百四十三条
具备下列条件的民事法律行为有效：
（一）行为人具有相应的民事行为能力；
（二）意思表示真实；
（三）不违反法律、行政法规的强制性规定，不违背公序良俗。