《中华人民共和国刑法》规定了非法吸收公众存款罪，是指未经国家有关主管部门批准，向社会不特定对象吸收资金，出具凭证，承诺在一定期限内还本付息的活动。如果行为人未向公众吸收资金，而是将钱款用于其他合法用途，则可能构成其他犯罪或情节轻微不需要追究刑事责任。 根据您提供的信息，如果每人给的钱数较少（如二十元），且这些钱款没有被用于非法活动，那么这种行为不太可能导致非法吸收公众存款罪的成立。然而，这并不意味着您的行为不会触犯其他法律规定，例如违反《中华人民共和国人民币管理条例》，因为该条例同样禁止任何单位和个人不得拒收或者采取歧视性措施排斥使用人民币的行为。 因此，在判断是否构成违法行为时，建议详细审查和理解相关的法律法规，并结合具体情况进行分析。如果您有更多疑问，请咨询专业的法律顾问以获得更准确的答案。