对方不签字可以要回驾驶证。交警部门扣留当事人驾驶证是出于收集证据的目的，若交警已经调查清楚的，会按规定返还证件，并出具相关的责任认定书。对方对于责任认定不符并且不签字的，不影响交警返还证件的行为。对方当事人可以自行申请复核。

《道路交通事故处理程序规定》第四十条
当事人涉嫌犯罪的，因收集证据的需要，公安机关交通管理部门可以依据，扣押机动车驾驶证等与事故有关的物品、证件，并按照规定出具扣押法律文书。扣押的物品应当妥善保管。
对扣押的机动车驾驶证等物品、证件，作为证据使用的，应当随案移送，并制作随案移送清单一式两份，一份留存，一份交人民检察院。对于实物不宜移送的，应当将其清单、照片或者其他证明文件随案移送。待人民法院作出生效判决后，按照人民法院的通知，依法作出处理。