轻微伤通常属于治安案件范畴。
当受害者不愿意接受调解时，公安机关会依据案件的实际情况展开处罚工作。
对于加害人，公安机关可能会给予行政拘留的处罚，让其在一定期限内失去人身自由，以此来惩戒其行为；
同时，还会处以罚款，从经济上对加害人进行制裁，以弥补受害者的损失。
倘若加害人的行为已构成犯罪，像故意伤人这类情况，即便造成的只是轻微伤，也绝不能逃脱法律的制裁，依然可能会被追究刑事责任。
届时，加害人将面临拘役这种相对较轻的刑罚，或者有期徒刑这种较为严重的刑罚，具体的刑期长短要根据案件的具体情节、所收集到的证据等多种因素来综合确定。
总之，无论受害者是否选择调解，都不会对案件的法律程序以及最终的判决产生影响。
司法机关一定会秉持公正的原则，依据法律规定和相关证据，对案件进行认真审理和妥善处理，确保法律的公正实施和受害者的合法权益得到保障。