在处理涉及财物的案件时，通常会根据具体情况来判断是否需要继续追回剩余款项。如果被告人在被抓之前已经归还了一部分款项，并且有证据证明这部分款项确实是其合法所得或可以追回的话，法院可能会考虑减轻处罚或者对剩余部分给予一定的宽限期。 然而，如果被告人没有及时归还剩余款项，或者无法提供足够的证据证明其合法来源，那么可能需要继续追缴剩余款项。这取决于当地的法律规定和司法实践情况。 总之，在具体案件中，需要结合相关法律法规以及具体案情进行详细分析，以确定是否需要继续追回剩余款项并采取何种措施。建议在遇到此类问题时寻求专业的法律帮助。