我们家房子租给租客，租客让他亲戚来做生意，前提未告知我们，签完我们才知道不是租客本人来使用，目前我们协商退租，租客同意先搬后退房租，但是他亲戚不愿意，要求先退租再搬，我们担心房子被破坏，不同意，目前僵持不下，请问怎么办？