根据《中华人民共和国劳动民法典》第三十九条的规定，“劳动者有下列情形之一的，用人单位可以解除劳动合同。（一）严重违反用人单位的规章制度的……”因此，在这种情况下，如果员工A已经私下进行了赔偿，并且没有构成严重违反单位规章制度的行为，那么公司是不可以以此理由解除与员工A的劳动合同。但是，这并不意味着员工A将被无条件地解雇。公司需要对员工A进行合理的评估和判断，确定其是否符合继续雇佣的条件。此外，公司也可以考虑采取其他措施来解决这个问题，如调整工作职责或提供培训等。总之，公司应该以公平、公正的态度处理此事，并确保所有行为都遵循法律规定。