拾得他人财物后拒绝归还的行为违反了《中华人民共和国刑法》第396条的规定，即“侵占他人财物的，处二年以下有期徒刑、拘役或者管制，并处罚金。”因此，在这种情况下，您可能需要考虑是否向失主道歉并承诺归还物品。如果您确实没有能力立即归还，您可以寻求法律援助或帮助来解决问题。同时，请注意保护自己的权益不受侵犯，避免在任何情况下做出有损自己利益的行为。