Nie do końca wiadomo co się wydarzyło pod koniec XII wieku, ale około roku 1195 konwent został usunięty, a na jego miejsce przybył następny. Możliwe, że chodziło o kwestie dyscyplinarne. Nie przeszkadzało to widocznie książętom pomorskim, bo oliwskie opactwo było faworyzowane przez kolejnych władców z rodu Sobiesława. Hojne nadania książąt spowodowały, że pod koniec XIII wieku do klasztoru oliwskiego należało kilkadziesiąt folwarków.
(zobacz też: fundacja klasztoru, dokument fundacyjny, nazwa Oliwy)
Miał klasztor przez wszystkie wieki istnienia swoich dobroczyńców, ale miał też i wrogów. W 1226 roku klasztor został doszczętnie obrabowany i spalony przez Prusów pomezańskich i warmińskich, a opat Kazimierz Ethler i zakonnicy zamordowani pod wałami Gdańska na oczach mieszkańców miasta.
Z Kołbacza przybyli nowi zakonnicy, którzy zajęli się odbudową, ale w 1236 roku Prusowie ponownie napadli Oliwę paląc klasztor i zabijając sześciu mnichów i trzydziestu czterech ludzi ze służby opactwa.
Przeżyło też opactwo kilka represyjnych napadów Krzyżaków, którzy podczas wojen z księciem Świętopełkiem spalili klasztor w 1246 roku oraz obrabowali w 1247 i 1252 roku. Był to odwet Zakonu na ziemiach Świętopełkka, którego Krzyżacy podejrzewali o podburzanie Prusów do buntu (w 1143 roku chrześcijańscy Prusowie powstali przeciwko władzy Zakonu). Podczas trzeciego z krzyżackich najazdów Świętopełkek bronił się przed rycerstwem zakonnym właśnie w oliwskim klasztorze. Jeszcze w XIII wieku (w 1226 roku) cystersi oliwscy zostali zwolnieni przez papieża Honoriusza III z dziesięciny. Stało się to potem powodem zatargów z kujawskim biskupem Michałem, który nawet obłożył mnichów z Oliwy ekskomuniką. Cystersi uciekli się do papieża, a ten wyłączył ich spod władzy biskupa (w 1245 roku) i nakazał zdjąć ekskomunikę.
W 1294 roku umarł kolejny protektor opactwa w Oliwie - książę Mściwój II. Pochowano go w kościele klasztornym podobnie jak i innych pomorskich władców, którzy właśnie Oliwę wybrali na miejsce swojego wiecznego spoczynku.
Na pogrzeb Mściwoja przybył do Oliwy Przemysł II - wielkopolski książę, który odziedziczył władzę na Pomorzu. Zjednoczenie obydwu dzielnic otworzyło mu drogę do koronacji, po której stał się "królem Polski i księciem Pomorza". Nie panował jednak długo, bo już w 1296 roku został zamordowany. Przez następne kilkanaście lat po śmierci Przemysła II Pomorze przechodzi z rąk do rąk. Najpierw jego władcą zostaje Władysław Łokietek, ale już w 1300 roku królem Polski zostaje czeski Wacław II panujący także na Pomorzu. Wszyscy kolejni władcy potwierdzają wszystkie przywileje i nadania opactwa cystersów w Oliwie.
W 1305 roku królem Polski został kolejny władca Czech - Wacław III, ale nie zdążył umocnić swojej władzy - zginął w zamachu już w 1306 roku. Wtedy Pomorze przejmuje ponownie Władysław Łokietek, jednak kłopoty z utrzymaniem władzy w Małopolsce powodują utratę Pomorza.
W roku 1308 Gdańsk zostaje zajęty przez margrabiów brandenburskich. (Brandenburczycy dokonują zniszczeń w majątku opactwa, które w roku 1310 rekompensuje nadaniami margrabia Waldemar zaliczony później do dobroczyńców klasztoru). Łokietek poleca wezwać na pomoc Krzyżaków. Rycerze zakonni najpierw odbijają gród z rąk brandenburskich, a później wypędzają polską załogę.
Nie obyło się bez rozlewu krwi. 13 listopada 1308 oliwski opat Rüdiger był świadkiem rzezi gdańskiej. Osobiście udzielił ostatniej posługi rycerzom gdańskim a później uzyskał zgodę pogrzebania ich na cmentarzu przy kościółku pod wezwaniem św. Jakuba w opactwie. Kościół ten, istniejący zresztą do dzisiaj, cystersi wybudowali kilka lat wcześniej (przed rokiem 1300) na potrzeby parafii.
