变更监护人不一定需要去法院，如果现监护人与其他具有监护资格的人协商一致，可以自行签订监护权变更协议。
如果对监护权有争议，且自己无法协商解决的才需要去法院，可以向人民法院申请指定监护人。
如果有下列情况的法院会撤销现监护人的监护人资格，安排必要的临时监护措施，并按照最有利于被监护人的原则依法指定监护人：（一）实施严重损害被监护人身心健康的行为；
（二）怠于履行监护职责，或者无法履行监护职责且拒绝将监护职责部分或者全部委托给他人，导致被监护人处于危困状态；
（三）实施严重侵害被监护人合法权益的其他行为。

《民法典》第三十一条
对监护人的确定有争议的，由被监护人住所地的居民委员会、村民委员会或者民政部门指定监护人，有关当事人对指定不服的，可以向人民法院申请指定监护人；有关当事人也可以直接向人民法院申请指定监护人。