我老公在做牢期间，我跟个以婚男人发生性关系，他租房子给我住，还借钱给我买房子，没有借条，在这期间我还为他打过胎，现在我老公出狱了，我也就跟他没有在一起了，现在他找我要我们在一起的所有费用我要给他吗？