在未领取结婚证明的情况下，我们无需履行离婚程序即可自由分手。
然而，关于财产分配及子嗣事宜无法达成一致看法的话，您可以寻求法律诉讼途径。
对于两名子女的抚养权归属问题，建议由两位当事人自行协商确定。
如协商不能达到共识，则可向法院提出诉讼请求，寻求公正判决。
在这种情况下，法院通常会以保障未成年人权益为首要考量因素，并结合夫妇二人的经济状况作出判断。
倘若幼儿尚不满两周岁，那么抚养权通常会交由母亲行使。

《民法典》第一千零七十一条
非婚生子女享有与婚生子女同等的权利，任何组织或者个人不得加以危害和歧视。
不直接抚养非婚生子女的生父或者生母，应当负担未成年子女或者不能独立生活的成年子女的抚养费。