Na vzhodni strani kapele, ki jo je dal grof Matija Thurn postaviti na svoje stroške leta 1623, je zrastel tudi majhen, prijazen samostan, za stanovanje redovni družini, ki bi skrbela za cerkev in bi bila na razpolago romarjem in obiskovalcem. Bil je ločen od cerkve. Samostan, ki je bil nov in na čudoviti legi nad mestom, so si zaželeli redovniki različnih redov. Grof se je končno odločil in z darilno listino 28. decembra 1649 cerkvico, samostan in manjše posestvo okrog samostana izročil redovnikom karmeličanom.
V času karmeličanov je Kostanjevica doživljala razcvet tako na duhovnem kot na materialnem področju. Najprej so uredili cerkev, samostan pa po letu 1662 povečali, ga povišali za eno nadstropje in ga z današnjo zakristijo in oratorijem nad njo združili s cerkvijo. Morda so samostan pozidali povsem na novo, saj je ohranjeno pismo, datirano 5. maja 1662, v katerem prior samostana vabi patriarha Marca Gradeniga na postavitev temeljnega kamna za samostan. Ta je bil po obsegu takšen, kot je ostal vse do leta 1902, ko so vzhodni del podaljšali za štiri sobe. Med prvo svetovno vojno porušenega srednjega dela niso v celoti rekonstruirali, zato je po dolžini na severni strani zdaj nekaj metrov krajši.
Bolj kot na zunaj kaže samostan raznoliko arhitekturo v svoji notranjosti, in sicer pri obliki stropov v samostanskih celicah, debelinah zidov, načinu gradnje in izbiri materialov, ki so jih uporabljali za gradnjo. V dveh celicah so še danes nad vrati plošče z besedili, ki povejo, komu sta celici posvečeni in kdo je bil dobrotnik, ki ju je uredil zase in za svoje potomce, da so ju določen čas v letu lahko uporabljali za duhovne vaje. Plošča iz tretje celice je bila odstranjena in je vzidana ob vhodu v knjižnico na južni steni samostana.
Samostan je bil v preteklosti zelo bogat z umetniškimi deli. V prvi svetovni vojni je bilo mnogo tega uničenega, po njej pa so iz ruševin lahko rešili le manjši del. To so večinoma slike, ki visijo na hodniku v pritličju samostana in v samostanski dvorani. Med njimi velja omeniti sliko sv. Hilarija in Tacijana, zavetnikov Gorice. Ta slika Kostanjevico tudi danes povezuje z mestom Gorico, katerega del je nekoč bila. Upodobitev zavetnikov Gorice je edina v Sloveniji.
Dalje velja omeniti upodobitev sv. Jožefa z detetom Jezusom v naročju, ki ga časti sv. Anton (avtor Francesco Pavona), sliko Madone s harpijami, sliko Križanega, leseni oval, na katerem je naslikan sv. Frančišek, ki prejema porcijunkulski odpustek, leseni oval s sliko sv. Antona in sliko Marije z Jezusom, sv. Dominikom in sv. Katarino Siensko (slika je bila del bandera, ki so ga imeli v Velesovem, zato je v spodnjem delu naslikana tudi velesovska cerkvica s samostanom; na drugi strani platna je slika Marijinega kronanja, delo istega slikarja).
V samostanu je tudi nekaj del dveh frančiškanov, ki sta živela na Kostanjevici in sta bila dejavna kot slikarja, p. Aleksandra Robleka in p. Ladislava Pintarja, in doprsni kip goriškega škofa Frančiška B. Sedeja, ki ga je v patiniranem mavcu izdelal France Gorše leta 1932.
Trije bogato okrašeni portali, vhodi v prostore, ki so pomembni za vsako redovno skupnost, vodijo v samostanu na oratorij, kjer redovniki molijo, v nekdanjo knjižnico, kjer se izobražujejo, in v nekdanjo obednico (danes večnamensko dvorano), kjer se ob skupni mizi družijo in gojijo bratsko življenje. Nad vhodom v nekdanjo knjižnico je lesen grb karmeličanskega reda, ki je poleg plošče nad grobnico še edina priča njihove 125-letne prisotnosti na Kostanjevici.
Anton Šušmelj je naredil za samostan dve sončni uri. Prva je v atriju (1936) in je bila pred nekaj leti obnovljena. Nosi latinski napis Jezusovih besed, ki se v prevodu glasi: Čuj, ker ne veš ure. Druga je bila na vzhodnem delu samostana in je z ometom odpadla. Latinski napis na njej je opozarjal: Naši dnevi so kot senca.
Kostanjevica, Frančiškanski samostan s knjižnico, grobnica Burbonov in župnijska cerkev Gospodovega oznanjenja Mariji so bili leta 1985 razglašeni kot umetnostni in arhitekturni spomenik ter območje (Občinski Odlok o razglasitvi kulturnih in zgodovinskih spomenikov ter naravnih znamenitosti na območju občine Nova Gorica, Uradno glasilo št. 8/1985).
