根据中国《民法典》的规定，成立业主委员会的程序和时间安排通常需要符合法定要求。一般来说，业主大会应当在首次业主大会会议召开7日前书面通知物业所在地街道办事处、乡镇人民政府，并且应当提前公告会议的时间、地点和议程等信息。 如果按照这个规定，在第一次业主大会会议上决定是否设立业主委员会，那么只有当全体业主出席并行使表决权时，才能通过设立业主委员会的决议。在这个过程中，业主委员会的选举、组建以及任期都必须依照相关法律法规进行。 因此，如果仅仅因为一天的时间限制就决定不设立业主委员会，这可能不符合法律规定。建议您详细查阅相关的法律法规，确保您的行为符合当地的政策和法规。同时，也可以寻求专业的法律意见以确保自己的权益得到保护。