根据中华人民共和国城乡规划法的规定，房屋的建造应当符合城市、镇和村庄规划。因此，在开始房屋建设前，应当首先确定房屋的地理位置，并在规划部门的指导下进行设计和施工。 如果您已经按照房屋规划图进行了建筑活动，那么通常情况下不会构成违法行为。然而，如果您的行为违反了相关的法律法规或者规划要求，比如未取得必要的审批手续、未按照规划图设计进行施工等，可能会被认定为违法。 建议您及时与当地的规划管理部门联系，了解自己所进行的活动是否合法。同时，也请您确保自己的行为不违反任何法律规定或规划要求，以避免可能的风险。