当单位借钱不还时，可采取以下步骤来解决。
首先，尽量与单位的相关负责人或财务部门进行沟通，明确借款的情况以及还款的预期时间，保留好沟通的记录，如邮件、短信或通话记录等，这能作为日后的证据。
如果沟通后仍未得到还款，可向单位的上级领导或监察部门反映情况，说明借款的缘由和单位未还款的事实，争取上级的支持和干预。
若以上途径都无法解决问题，还可以考虑通过法律途径来维护自身权益。
准备好充分的借款证据，如借款合同、转账记录、借条等，聘请专业的律师协助起草起诉状，并向有管辖权的法院提起诉讼。
在诉讼过程中，要积极配合法院的工作，提供相关证据和信息，以确保案件的顺利进行。
通过以上方法，有望促使单位履行还款义务，避免自身的合法权益受到损害。
同时，也提醒在与单位进行借款等经济往来时，要保留好相关证据，以防出现纠纷时无法有效维护自身权益。