由于以前我是做小姐的，但是最后和男朋友谈恋爱了他就不允许我去上班了，所以就和他到工地上去了，一开始是我自愿的在期间由于经常吵架，到最后我就回去上班了，当时他一直在逼我回去，一直到上班的地方去骚扰我，到最后我被他逼得没办法，就跟他回去了，由于当时没多少钱，他就借了很多贷款，但是现在要分开了，他非逼着我和他一起还钱，他说要我把我花了的钱还给他，我应该还她嘛？我现在该怎么办