遗赠扶养协议撤销主体就是签订遗赠扶养协议的当事人。遗赠扶养协议是指遗赠人与扶养人之间为明确相互间遗赠和扶养的权利义务关系而订立的协议。遗赠扶养协议是双方法律行为，它必须在双方自愿协商一致的基础上才能成立。同样，它的解除也必须协商一致才能解除。
法律依据：
《最高人民法院关于贯彻执行中华人民共和国继承法若干问题的意见》第56条
扶养人或集体组织与公民订有遗赠扶养协议，扶养人或集体组织无正当理由不履行，致协议解除的，不能享有受遗赠的权利，其支付的供养费用一般不予补偿;遗赠人无正当理由不履行，致协议解除的，则应偿还扶养人或集体组织已支付的供养费用。