根据我国《土地管理法》的规定，房屋拆迁应当依法进行，并签订书面协议。如果村委会没有与您签订回迁房协议，那么其行为可能构成违法拆迁。如果您认为自己受到的损失较大，可以考虑向人民法院提起诉讼，要求确认拆迁行为无效，并请求法院判决赔偿您的损失。 此外，您可以尝试通过其他途径来解决这个问题，比如联系当地相关部门，或者寻求律师的帮助，以便更好地维护自己的合法权益。同时，注意保存好相关证据，如拆迁协议、照片等，以备不时之需。