行为人进行非法集资，把钱都退还了的，还会判刑，但可以从轻或者减轻处罚。如果行为人非法集资，构成非法吸收公众存款罪的，一般处三年以下有期徒刑或者拘役，并处或者单处罚金，如果数额巨大的，则处三年以上十年以下有期徒刑，并处罚金。

《中华人民共和国刑法》第一百七十六条
非法吸收公众存款或者变相吸收公众存款，扰乱金融秩序的，处三年以下有期徒刑或者拘役，并处或者单处罚金；数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处罚金；数额特别巨大或者有其他特别严重情节的，处十年以上有期徒刑，并处罚金。
单位犯前款罪的，对单位判处罚金，并对其直接负责的主管人员和其他直接责任人员，依照前款的规定处罚。
有前两款行为，在提起公诉前积极退赃退赔，减少损害结果发生的，可以从轻或者减轻处罚。