尊敬的用户， 根据您的描述，您和您的先生之前与前女友及其父亲之间的关系是基于私人协议，并且没有明确的书面合同或法律文件作为支持。因此，在这种情况下，您的前女友的父亲要求归还5万元的行为并不属于敲诈勒索。 然而，如果您的前女友的父亲继续进行骚扰行为并导致您们的生活受到干扰，您可以考虑采取适当措施来保护自己和家人的安全。如果您认为情况严重，建议寻求法律帮助以确保自己的权益得到保障。 此外，如果您担心对方可能会再次采取类似行为，或者担心可能存在的其他风险，那么也可以考虑向相关机构报告这种情况，以便采取适当的预防措施。 最后，请记住，任何个人都应尊重他人的人格尊严和隐私权，避免不必要的冲突和纠纷。希望以上信息能对您有所帮助。