廉租房一般不会被随时赶走。但是当廉租房租住对象家庭条件发生改变不符合租住条件（比如收入超标、已有住房等）时，政府廉租房管理部门应该收回廉租房。廉租房收回的，由市保障性住房管理机构责令其退还已领取的租金补贴或收回所承租的廉租住房，依法追缴其非法收入，按照合同约定，在一定期限内不得享受申请保障房资格，拒不退出的，可按合同约定申请人民法院强制执行。

《公共租赁住房管理办法》第七条
申请公共租赁住房，应当符合以下条件：
（一）在本地无住房或者住房面积低于规定标准；
（二）收入、财产低于规定标准；
（三）申请人为外来务工人员的，在本地稳定就业达到规定年限。
具体条件由直辖市和市、县级人民政府住房保障主管部门根据本地区实际情况确定，报本级人民政府批准后实施并向社会公布。