在刑事案件中，需要退赃退赔的一般不能不退，原因如下：
法律规定层面：《中华人民共和国刑法》第六十四条明确规定，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；对被害人的合法财产，应当及时返还。这是法律的强制性要求，旨在恢复被犯罪行为破坏的财产关系，保护被害人的合法权益，维护社会的公平正义和法律秩序。
量刑情节层面
主动退赃退赔可从宽：如果犯罪嫌疑人、被告人主动退赃退赔，可作为从轻量刑情节。在侦查阶段主动退赃，案件情节较轻时有可能撤销案件或取保候审；审查起诉阶段及时退赃，可能争取减轻或免于刑事处罚；审判阶段退赃，能促成和解，影响量刑结果，最高可在基准刑的基础上减少 30%。
拒不退赃可能加重处罚：若有能力退赃退赔却拒不执行，甚至隐匿、转移财产，会被视为没有真诚悔罪表现，不仅无法获得从宽处理，还可能在量刑时被加重处罚，即使在服刑期满后，也仍需退还赃款。
执行层面：若在判决前没有退赃退赔，法院通常会在判决中责令被告人退赃退赔，判决生效后，法院可通过查扣划被告人财产、限制高消费、纳入失信名单等强制执行手段迫使被告人履行退赃退赔义务。
不过，存在一些特殊情况可以不被强制要求退赃退赔，比如犯罪嫌疑人、被告人确无能力退赃退赔，需根据其经济状况、财产查封扣押情况等综合判断。还有如果当事人压根不构成犯罪，或者案件要争取 “无罪辩护”，则不能退赃退赔，因为一旦退赃退赔，可能会被认为是对犯罪事实的某种承认。
