在感情关系中，给情人用的钱是否会被法院要求退回去，这需要根据具体情况来判断。
如果这些钱是基于借贷关系而给予的，即明确约定了借款以及还款时间等相关条款，那么法院通常会支持出借方要求返还借款的诉求。
比如，一方明确向情人表示这是借款，之后要求对方归还，在有相关证据证明借款事实的情况下，法院会依法判决情人返还借款。
然而，如果这些钱是出于赠与行为而给予的，一般情况下法院不会要求情人返还。
赠与是赠与人将自己的财产无偿给予受赠人，受赠人表示接受的一种行为。
例如，一方出于爱意自愿给情人钱财，且没有要求对方归还的意思表示，这种情况下法院通常不会介入干预。
但如果赠与行为存在一些特殊情况，如赠与的财产是基于欺诈、胁迫等手段获得的，或者赠与行为严重损害了赠与人配偶的合法权益等，那么法院可能会根据具体情况判决情人返还部分或全部钱款。
总之，要具体情况具体分析，不能一概而论地说给情人用的钱法院就一定会要求退回去或不会要求退回去。