根据您提供的情况，起诉离婚并争取孩子抚养权是您的权利。首先，您需要准备相关证据，包括但不限于孩子一直由您抚养的证明、男方没有工作的证据、男方嫖娼的证据等，这些证据对于您争取抚养权和离婚诉讼都是有利的。 其次，根据《中华人民共和国婚姻法》的规定，离婚时，双方对子女抚养问题有争议的，法院会根据子女的权益和双方的具体情况判决。您作为孩子的主要抚养者，且男方没有工作，这将有利于您争取到孩子的抚养权。 至于财产分割，虽然您表示可以不要房子，但根据法律规定，夫妻共同财产应当平均分割。如果您愿意放弃对房产的分割，这可以作为您在离婚协议中的一个让步条件。 最后，由于男方户籍在杭州下城区，您可以选择在男方户籍所在地的人民法院提起离婚诉讼。建议您咨询当地的律师，以便获得更具体的法律服务和指导。在起诉前，您也可以尝试与男方协商解决，如果协商不成，再通过法律途径解决。