根据法律规定，如果小孩已经由你合法收养并带回家中，则对方不得再索要任何费用。因此，除非有特殊原因或协议约定，否则对方无权要求你退还这5万元。建议你与对方沟通协商，看看是否有其他解决方式。