会追究刑事责任。
非法集资如果已经构成犯罪，钱退给投资者后，还会追究刑事责任，但可以从轻处罚。
根据《关于常见犯罪的量刑指导意见》第八条：
对于退赃、退赔的，综合考虑犯罪性质，退赃、退赔行为对损害结果所能弥补的程度，退赃、退赔的数额及主动程度等情况，可以减少基准刑的30％以下；其中抢劫等严重危害社会治安犯罪的应从严掌握。
一、非法集资款全部追回后怎么处理
向社会公众非法吸收的资金属于违法所得。以吸收的资金向集资参与人支付的利息、分红等回报，以及向帮助吸收资金人员支付的代理费、好处费、返点费、佣金、提成等费用，应当依法追缴。集资参与人本金尚未归还的，所支付的回报可予折抵本金。
将非法吸收的资金及其转换财物用于清偿债务或者转让给他人，有下列情形之一的，应当依法追缴：
1、他人明知是上述资金及财物而收取的;
2、他人无偿取得上述资金及财物的;
3、他人以明显低于市场的价格取得上述资金及财物的;
4、他人取得上述资金及财物系源于非法债务或者违法犯罪活动的;
5、其他依法应当追缴的情形。
查封、扣押、冻结的易贬值及保管、养护成本较高的涉案财物，可以在诉讼终结前依照有关规定变卖、拍卖。所得价款由查封、扣押、冻结机关予以保管，待诉讼终结后一并处置。
查封、扣押、冻结的涉案财物，一般应在诉讼终结后，返还集资参与人。涉案财物不足全部返还的，按照集资参与人的集资额比例返还。
二、非法集资的特点
1、未经有关部门依法批准，包括没有批准权限的部门批准的集资;有审批权限的部门超越权限批准集资，即集资者不具备集资的主体资格
2、承诺在一定期限内给出资人还本付息。还本付息的形式除以货币形式为主外，也有实物形式和其他形式。
3、向社会不特定的对象筹集资金。这里“不特定的对象”是指社会公众，而不是指特定少数人。
4、以合法形式掩盖其非法集资的实质。为掩饰其非法目的，犯罪分子往往与投资人(受害人)签订合同，伪装成正常的生产经营活动，最大限度地实现其骗取资金的最终目的。
法律依据：
《中华人民共和国刑法》第六十四条
犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；对被害人的合法财产，应当及时返还；违禁品和供犯罪所用的本人财物，应当予以没收。没收的财物和罚金，一律上缴国库，不得挪用和自行处理。