今年4月份与苏州一家服装加工厂合作加工了一批服装，工厂发最后一批货过来时要求将货款付清才发货，当时谈好最终以我收到的数量为准，货款多退少补。我全部收到货物后，清点的实际数量比工厂发货前报过来的数量少，所以要求他们退返货款差价给我，工厂对此无异议也同意退还货款差价，但我从8月就开始要求他们退还差价货款，至今仍未退还给我，每次都以各种理由推脱，或多次保证约定支付但在约定最后期限仍未支付，现在这种情况，我是否可以在法院起诉该工厂，要求他们退还货款差价给我？