工厂污染影响附近居民正常生活的，居民可以向环境保护执法部门反映举报，由环境保护部门对造成污染的工厂做出限期治理的处罚结果，经限期治理逾期仍未完成治理任务的，除依照国家规定加收超标准排污费外，还可以根据所造成的危害后果予以罚款，或者责令停业、关闭。
如果给居民带来损失的，居民还可以直接向法院提起民事诉讼，要求赔偿损失。

《中华人民共和国环境保护法》第二十九条：
对造成环境严重污染的企业事业单位，限期治理。
中央或者省、自治区、直辖市人民政府直接管辖的企业事业单位的限期治理，由省、自治区、直辖市人民政府决定。市、县或者市、县以下人民政府管辖的企业事业单位的限期治理，由市、县人民政府决定。被限期治理的企业事业单位必须如期完成治理任务。
第三十九条：
对经限期治理逾期未完成治理任务的企业事业单位，除依照国家规定加收超标准排污费外，可以根据所造成的危害后果处以罚款，或者责令停业、关闭。
前款规定的罚款由环境保护行政主管部门决定。责令停业、关闭，由作出限期治理决定的人民政府决定；
责令中央直接管辖的企业事业单位停业、关闭，须报国务院批准。
第四十一条：
造成环境污染危害的，有责任排除危害，并对直接受到损害的单位或者个人赔偿损失。
赔偿责任和赔偿金额的纠纷，可以根据当事人的请求，由环境保护行政主管部门或者其他依照法律规定行使环境监督管理权的部门处理；
当事人对处理决定不服的，可以向人民法院起诉。当事人也可以直接向人民法院起诉。
完全由于不可抗拒的自然灾害，并经及时采取合理措施，仍然不能避免造成环境污染损害的，免予承担责任。