违反离婚承诺书要承担的责任包括：
如果双方约定可违约金的要承担给付违约金的责任，有效的离婚承诺书是夫妻双方的对内约定，不能设定人身关系，如果双方在离婚承诺书中约定了违约金的，一方违约的，可以请求承担民事违约责任；
行为构成侵权的，可请求承担民事侵权责任；
其他责任。

《中华人民共和国民法典》第五百八十五条
当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。
约定的违约金低于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以增加；约定的违约金过分高于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以适当减少。
当事人就迟延履行约定违约金的，违约方支付违约金后，还应当履行债务。
第一千零四十三条
家庭应当树立优良家风，弘扬家庭美德，重视家庭文明建设。
夫妻应当互相忠实，互相尊重，互相关爱；家庭成员应当敬老爱幼，互相帮助，维护平等、和睦、文明的婚姻家庭关系。