根据法律规定，借贷双方约定的利率未超过年利率24%，出借人请求借款人按照约定的利率支付利息的，人民法院应予支持。因此，如果借款合同中约定的利率不超过年利率24%，并且借款金额为4000元，而实际借款金额仅为3200元，则可以认为该贷款行为属于合法范围内的小额借贷，不构成高利贷。不过，具体情况还需结合相关法律法规和具体案情来判断是否构成非法放贷或违规借贷。