首先，根据法律规定，父母双方均有抚养子女的权利和义务。如果夫妻双方未达成协议或无法协商一致，法院通常会判决由一方或双方共同抚养子女。 在你提到的情况中，如果你的前配偶再次返回你的住所，并且没有得到你同意的情况下，这可能被视为侵犯了你的隐私权和居住权。然而，具体是否构成违法行为需要结合当地的法律法规进行判断。 此外，即使你已经离婚，你仍然有权利要求对方支付抚养费。如果你认为对方没有履行这一义务，你可以考虑向法院提起诉讼，以确保自己的权益得到保障。 总之，在处理此类问题时，重要的是要遵守当地法律法规，并寻求专业的法律建议。