2011年的时候，有套安置房名额是我家的，买下来的时候黑别人了。对方付的钱，给了我们5万块转让费。这些年也是他在出租的，现在他要把房子卖掉，我不想。当时呢写了张单子的，我想违约，我可以承担当时的买房费用，违约金，转让费5万。请问我能强行将房子要回来吗？他有权把房子卖掉吗