不需要双方都去。补办离婚证只需要补领一方带本人的身份证、户口本及在婚姻登记机关查询的离婚档案即可。办理结婚证必须双方带身份证、户口本，没有户口本可以到户口所在地派出所出具户籍证明。
《民法典》 第一千零七十八条 婚姻登记机关查明双方确实是自愿离婚，并已经对子女抚养、财产以及债务处理等事项协商一致的，予以登记，发给离婚证。