Para penjajah mulai dari Portugis hingga Belanda datang ke Kepulauan Maluku untuk mencari rempah-rempah seperti pala dan cengkih yang tumbuh subur di daerah tropis. Mereka berebut tanah jajahan untuk mengontrol perdagangan rempah-rempah di wilayah tersebut hingga dibawa ke negerinya. Untuk itu para penjajah membangun loji atau benteng sebagai pos penjagaan untuk melakukan pengontrolan terhadap lalulintas perdagangan rempah-rempah.
Namun kemudian Portugis kalah dari Belanda tahun 1605, hingga menyingkir ke Pulau Timor sebelah timur. Belanda menggantikan kedudukan Portugis untuk mengontrol perdagangan rempah-rempah di Maluku serta mengambil alih loji tersebut. Kemudian bangunan loji diperbesar hingga menjadi benteng pertahanan oleh Gubernur Jenderal van Ottens pada tahun 1637. Bentuk benteng tersebut bertahan hingga sekarang ini setelah sempat rusak dan terabaikan pasca perang kemerdekaan, lalu dipugar kembali dan dijadikan musium.
Bentengnya sendiri terdiri dari bangunan utama yang berada di tengah benteng dan pagar yang melingkarinya untuk melindungi bangunan utama dari serangan musuh. Bangunan utama terdiri dari tiga lantai, lantai satu dan dua untuk tempat tinggal tentara, dan lantai tiga untuk memantau keadaan dari segala sudut. Atapnya yang sekarang ini sudah tidak asli lagi dan diganti dengan seng sehingga agak terasa panas di dalam.
Lantai satunya berbata merah dan dibawahnya ada penjara serta tempat menyimpan mesiu. Sementara lantai dua dan tiga terbuat dari kayu dan terdapat tangga yang menghubungkan antar lantai di tengah bangunan. Ruang di tiap lantai terbuka sehingga tampak lapang, namun gelap bila jendela yang ada di tiap sisinya ditutup. Terkadang ada burung masuk ketika jendela lantai atas dibuka, ketika ingin melihat pemandangan indah laut di depannya atau perbukitan di belakangnya.