В 1676 году замок был разрушен турками под предводительством Ибрагима Шейтана. Но Потоцкие его вновь отстроили. В 1772 году после раздела Речи Посполитой Золотой Поток был аннексирован Австрийской Империей. В 1840 году новые владельцы замка Ольшевские перестроили его по проекту итальянского архитектора, но перестройка обошлась слишком дорого, и замок был продан. Затем, переходя из рук в руки, он постепенно приходил в упадок.