婚姻关系是在结婚证为依据的，户口簿显示已婚，不代表双方的婚姻关系有效。双方只要没有办理结婚登记手续，即不是有效的婚姻。则不存在离婚的问题。所以，不需要离婚。
但如果双方是在1994年2月1日前结婚，且符合结婚实质要件的，可以视为事实婚姻关系，即使没有办理结婚登记，也视为有效婚姻，需要办理离婚手续。

最高人民法院关于适用《中华人民共和国民法典》婚姻家庭编的解释（一）第七条
未依据民法典第一千零四十九条规定办理结婚登记而以夫妻名义共同生活的男女，提起诉讼要求离婚的，应当区别对待：
（一）1994年2月1日民政部《婚姻登记管理条例》公布实施以前，男女双方已经符合结婚实质要件的，按事实婚姻处理。
（二）1994年2月1日民政部《婚姻登记管理条例》公布实施以后，男女双方符合结婚实质要件的，人民法院应当告知其补办结婚登记。未补办结婚登记的，依据本解释第三条规定处理。