在刑事侦查阶段，当证据不足以支撑指控时应采取以下措施:
根据我国《刑事诉讼法》第一百六十三条之规定，在公安机关侦查的过程中，如果经过调查核实，认为犯罪嫌疑人所犯下的罪行并不符合刑事追诉的标准，可以依法裁决终止案件，不予以追究其刑事责任。
对于已经被批准逮捕的犯罪嫌疑人，应立即给予释放，且须同时发放释放证明书，并将相关情况通知当初批准逮捕的有关检察部门。
此外，依据该法第一百六十六条的明确规定，人民检察院在直接受理案件的过程中如需拘留某人，必须于拘留后的二十四个小时内对其进行讯问。
倘若发现不应拘留的情形，必须立即停止拘留行为，并为当事人发放释放证明文件。

《刑事诉讼法》第一百六十三条在侦查过程中，发现不应对犯罪嫌疑人追究刑事责任的，应当撤销案件；
犯罪嫌疑人已被逮捕的，应当立即释放，发给释放证明，并且通知原批准逮捕的人民检察院。
第一百六十六条人民检察院对直接受理的案件中被拘留的人，应当在拘留后的二十四小时以内进行讯问。
在发现不应当拘留的时候，必须立即释放，发给释放证明。