涉及到非法吸收公众存款案件中的追缴存款问题，其退还与否需根据实际情况加以斟酌判断。
在处理这类案件的过程中，若存款确属非法吸收，那么这些资金往往会被视作违法所得，并应依照相关法规进行追缴。
然而，若是存在某些存款系合法取得，或是在诉讼期间能够出示充分证据证明其中部分存款属于合法资产，并且与非法吸收公众存款的行为无直接关联性的话，那么这部分存款便有可能被判定应予归还给相应的存款人。

《中华人民共和国刑法》的相关规定，非法吸收公众存款的行为构成犯罪，涉及的财产应当依法追缴。但是，对于不属于犯罪所得或者与犯罪无关的合法财产，应当依法返还。具体的返还程序和条件，需要参照《刑法》以及相关司法解释和规定。