根据法律规定，如果您与他人发生非法同居关系，并且在知道对方有家庭时仍然继续与其交往，那么您可能构成重婚罪。因此，您应该立即停止这种行为，并尽快寻求法律帮助。 至于您的问题，如果您的行为已经构成犯罪，那么您可能会面临刑事责任和民事责任。关于您是否需要归还他的钱的问题，这取决于您是否认为这是合法的。如果您认为这是不道德的行为并且不符合社会伦理标准，则可能不需要归还这笔钱。但是，如果您认为这是合理的补偿或者是在紧急情况下所必需的，那么您可以考虑归还这笔钱。最终决定权在于您自己，建议您咨询专业的法律顾问以获得更具体的建议。