对于集资诈骗罪的退赔义务主体，一般情况下应涵盖实施集资诈骗行为的罪犯自身，以及那些在明知是犯罪所得的前提下仍获取、占有、使用或协助处理这些财产的相关人员。
在这种情况下，罪犯本身理应承担起返还被骗资金的主要责任。
若罪犯在案件发生之前已经归还了部分集资款项，那么这部分金额往往会在量刑过程中得到适当的考量和考虑。

《中华人民共和国刑法》第六十四条
【犯罪物品的处理】犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；对被害人的合法财产，应当及时返还；违禁品和供犯罪所用的本人财物，应当予以没收。没收的财物和罚金，一律上缴国库，不得挪用和自行处理。