W 1308 roku Oliwa dostała się w zasięg władzy krzyżackiej. W tymże też roku władzę tę uznał opat Rüdiger. Pomimo tego oraz pomimo ogólnikowego zatwierdzenia majątku opactwa oliwskiego przez Wielkiego Mistrza krzyżackiego Karola z Trewiru (w 1312 roku) dochodziło początkowo do wielu zatargów na tle majątkowym i terytorialnym pomiędzy klasztorem cystersów a zakonem krzyżackim. Dlatego na prośbę oliwskiego opata papież Jan XXII potwierdza w 1320 roku stan posiadania klasztoru.
W 1323 roku także biskupi Warmii i Pomezanii potwierdzają cały majątek opactwa. Jednak opaci oliwscy uznawali zwierzchnictwo Krzyżaków. Brali ich nawet w obronę podczas sporu Krzyżaków z władcami Polski przed obliczem papieża, co nie przeszkadzało cystersom w 1325 roku, pomimo wyraźnego zakazu Krzyżaków, zapłacić świętopietrza (czyli podatku kościelnego) na ręce biskupów polskich. Ostatecznie zatargi Oliwy z Krzyżakami wygasły w 1342 roku, kiedy Wielki Mistrz Ludolf König ogłosił przywilej zatwierdzający wszystkie posiadłości cystersów. Kolejne przywileje Krzyżaków miały miejsce w 1347, 1376 i 1381 roku.
25 marca 1350 roku doszczętnie spłonął kościół i klasztor w wyniku pożaru, który najprawdopodobniej wybuchł podczas czyszczenia kuchennego komina.
Kościół odbudowano w latach 1350 - 1355 nadając mu już gotycką formę i rozmiary jakie zachował do dnia dzisiejszego (a więc osiągnął około 100 metrów długosci). Pieniądze na odbudowę pochodziły, między innymi, z kasy Wielkiego Mistrza krzyżackiego - Henryka Dusemera.
Jeszcze przed pożarem, bo w 1348 roku Oliwę odwiedzili i przebywali jakiś czas w klasztorze Arcybiskup Nicei i opat zakonu bazylianów z Armenii.
Na początku XV wieku nastąpiło wyraźne rozprzężenie dyscypliny i ascezy, pewnie związane częściowow z sytuacją w jakiej znalazł się w tym czasie klasztor. Krzyżacy obciążyli bowiem (w latach 1401-1403) dobra klasztorne podatkiem wojennym w związku z konfliktem z Władysławem Jagiełłą. Doszły do tego epidemie w roku 1416 i 1427. A jeszcze później najazd wojsk czeskich husytów sprzymierzonych z Polską przeciw Krzyżakom. Husyci w roku 1433 dokonali zniszczeń w Oliwie i spalili Sopot, ale nie zdobyli Gdańska gdzie schronił się konwent oliwski.
Życie cystersów nie było jednak ograniczone tylko Oliwą i nieustannymi naprawami zniszczeń. W roku 1431 opat Bernard brał udział w Soborze w Bazylei, a w roku 1447 oliwski cysters Mikołaj Rutheni został mianowany biskupem pomocniczym we Włocławku.
Wiele się zmieniło z rokiem 1454, kiedy wybuchła wojna trzynastoletnia. Król Polski Kazimierz Jagiellończyk na prośbę miast pruskich ogłosił inkorporację Prus. Zajął Pomorze, przyjął hołd miast i obsadził stanowiska swoimi ludźmi. Wizytując miasta Pomorza odwiedził też w 1457 roku Oliwę. Opactwo zreszta popierało Związek Pruski, pożyczając nawet Związkowi pieniądze, a więc było zdecydowanym stronnikiem króla Polski. Krzyżacy oczywiście próbowali odzyskać utracone terytorium, w tym Gdańsk. Dlatego wojska wierne Kazimierzowi Jagiellończykowi broniące Gdańska zajęły opactwo oliwskie jako doskonały punkt wypadowy. Około sześciuset żołnierzy pod dowództwem Gotarda z Radlina i Wawrzyńca Schranka usadowiło się w Oliwie otaczając opactwo szańcami i rowami.
Ostatecznie Krzyżacy utracili panowanie nad Pomorzem Gdańskim i w wyniku pokoju toruńskiego (1466) ta część Prus przeszła pod panowanie króla jako Prusy Królewskie.
