Rozsáhlá zahrada s vinicí se po prohrané bitvě na Bílé hoře a porážce stavovského povstání stala majetkem Martiniců. Ti jej v roce 1666 věnovali Kajetánům, řeholníkům italského řádu, kteří dali VILE dnešní podobu a kteří severně od ní postavili v roce 1760 ORANŽERII.