Franjevci su pozvani u tvrđavu 1657. g., a za njihov smještaj zidana je pokraj crkve manja rezidencija. Kad su riješena pravna pitanja oko preuzimanja župe Sv. Trojstva, provincijal reda hrvatsko–kranjske provincije sa sjedištem u Ljubljani, Pavle Jančić, ishodio je od Ratnog vijeća u Grazu petnaest radnika koji su na račun komande zidali samostan između 1669. - 1676. g., u koji je uklopljena i prvobitna rezidencija. U velikom požaru 1692. g. izgorio je samostan, dobrim dijelom i crkva, a crkvena zvona „se istopila“. Sadašnji samostan izgrađen je od 1693.-1705. g. na temeljima staroga, a kamen za zidanje besplatno su dovozili karlovački lađari. Za vrijeme I. svj. rata, za potrebe vojne industrije, skidaju se i odvoze crkvena zvona, pa se tako odvoze i dva vrijedna zvona sa crkve Presvete Trojice. Kako su 1914. g.u crkvu postavljene nove orgulje, pretpostavljam da su postavljena i nova zvona. Nisam uspjela otkriti kad je na samostanu nestalo malo zvono sa zvonikom. Na razglednicama iz 1950.-ih na samostanu nema zvonika.
Crkveno zvono koje vidimo na krovu samostana skinuto je sa tornjića kapelice sv. Križa ispred Rakovačkih vrata (gdje je danas spomenik V. Karasu) kad je 1957. - 58. srušena kapelica. Spočetka je služilo franjevcima kao školsko zvono, a danas se nalazi u franjevačkom samostanu Presvetog Trojstva. (Biserka Fabac)