我于2015年离婚了，当时只是写了个协议，办了离婚证，协议上未曾盖章，房屋归男方所有，以后这两年来，名下共有的房屋按揭款都由我银行卡扣出，现在男方要求我搬离该屋，我是否有权要回所交按揭款