依据我国民法典的规定，父母有责任抚养未成年子女或者没有独立生活能力的子女，所以智力残疾的人一般由父母照顾，但父母死亡的，兄弟姐妹可以作为监护人。
有负担能力的兄、姐，对于父母已经死亡或父母无力抚养的未成年的弟、妹，有扶养的义务。
如赡养确有困难的，可以向居民委员会、村民委员会和依法设立的组织寻求帮助，并可申请当地政府提供救助。

《中华人民共和国民法典》第二十七条
父母是未成年子女的监护人。
未成年人的父母已经死亡或者没有监护能力的，由下列有监护能力的人按顺序担任监护人：
(一)祖父母、外祖父母；
(二)兄、姐；
(三)其他愿意担任监护人的个人或者组织，但是须经未成年人住所地的居民委员会、村民委员会或者民政部门同意。