首先，您应该试图与这名男子进行深入且有效的交流，晓之以理，动之以情，请求他主动搬离。
如果经过多次努力，仍然无法达成共识，那么您可以考虑向当地法院提出强制执行的申请，请求法院采取必要的法律手段，迫使该男子离开。
在此期间，您还可以选择向公安机关报案，请求他们协助处理此事。
在整个过程中，请务必妥善保管好所有相关的证据材料，以便在需要时能够有力地维护自己的合法权益。

《中华人民共和国民事诉讼法》第二百三十六条
当事人、利害关系人认为执行行为违反法律规定的，可以向负责执行的人民法院提出书面异议。当事人、利害关系人提出书面异议的，人民法院应当自收到书面异议之日起十五日内审查，理由成立的，裁定撤销或者改正；理由不成立的，裁定驳回。当事人、利害关系人对裁定不服的，可以自裁定送达之日起十日内向上一级人民法院申请复议。