依据《行政强制法》的规定，行政机关采取行政强制措施时，如果发现强制措施有错误的，应该第一时间解除强制措施。

《中华人民共和国行政强制法》第十九条规定：
情况紧急，需要当场实施行政强制措施的，行政执法人员应当在二十四小时内向行政机关负责人报告，并补办批准手续。行政机关负责人认为不应当采取行政强制措施的，应当立即解除。
第二十条规定，依照法律规定实施限制公民人身自由的行政强制措施，除应当履行本法第十八条规定的程序外，还应当遵守下列规定：
(一)当场告知或者实施行政强制措施后立即通知当事人家属实施行政强制措施的行政机关、地点和期限；
(二)在紧急情况下当场实施行政强制措施的，在返回行政机关后，立即向行政机关负责人报告并补办批准手续；
(三)法律规定的其他程序。
实施限制人身自由的行政强制措施不得超过法定期限。实施行政强制措施的目的已经达到或者条件已经消失，应当立即解除。