1640 flyttades kronans skeppsgård från Blasieholmen till Skeppsholmen. ’Skeppsgård’ var benämningen på en anläggning för flottans krigsfartyg. Under krigstid var området bevakat och stängt för obehöriga. De som kom via Skeppsholmsbron måste passera en vaktbyggnad, Bommen, och den låg vid brofästet.
Högvaktsbyggnaden du ser här i dag är den tredje i ordningen. Den uppfördes 1777–1778 efter ritningar av överstelöjtnant Charles Apelqvist. Ett äldre spruthus för brandredskap byggdes in i ena gaveln och i den andra inrättades en arrest. Längs fasaden fanns en öppen arkad med pelare som gav vakten väderskydd, samtidigt som den var en vacker prydnad mot slottet.
På 1870-talet blev huset skola och byggdes om efter Victor Ringheims ritningar. Portiken med pelare murades då igen. Spruthuset hade blivit arrest och gamla arresten byggdes om till bostad. 1910 inreddes verkstäder, skrädderi och skomakeri på vinden. Under världskrigen blev byggnaden åter högvakt. 1969 lämnade militären holmarna och högvaktens tid var förbi.