Gränsö, Slottet – Västervik