当阻止施工人员进行作业时，受害者有权向侵权方索赔其所遭受的损失，同时，他们也可选择向警方报案，由警方依法处理。根据相关法律规定，警方可以对侵权行为人采取以下处罚措施：如果情节轻微，警方可以对其处以五天以下拘留或五百元以下罚款；若情节严重，则可处以五至十天的拘留，并处以五百元以下罚款。

《治安管理处罚法》第二十三条有下列行为之一的，处警告或者二百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款：（一）扰乱机关、团体、企业、事业单位秩序，致使工作、生产、营业、医疗、教学、科研不能正常进行，尚未造成严重损失的；（二）扰乱车站、港口、码头、机场、商场、公园、展览馆或者其他公共场所秩序的；（三）扰乱公共汽车、电车、火车、船舶、航空器或者其他公共交通工具上的秩序的；（四）非法拦截或者强登、扒乘机动车、船舶、航空器以及其他交通工具，影响交通工具正常行驶的；（五）破坏依法进行的选举秩序的。聚众实施前款行为的，对首要分子处十日以上十五日以下拘留，可以并处一千元以下罚款。