在大多数情况下，如果双方已经达成协议并且该协议得到了法院的认可，那么一方有权决定是否允许他人居住。然而，在某些特殊情况下，例如一方不愿意将房产用于出租或其他商业用途，或者担心另一方可能对房产的使用方式不满意等，一方可能会考虑拒绝或限制他人对该房产的访问。 在这种情况下，建议您与对方进行深入讨论，并确保您的需求得到尊重和满足。此外，如果您认为自己的权益受到侵犯，您可以考虑寻求法律帮助以保护自己的利益。