Holbæk-brødrenes logebygning er opført i 1847 som kgl. toldkammer og tjente som sådan indtil 1958, hvor "Hjælpekassen for Frimurerbrødre i Holbæk" købte den smukke bygning på Havnepladsen for at indrette den til logebrug.

Sankt Johannes-instruktionslogen St. Lucius blev stiftet i 1932, men brødrene i Holbæk havde holdt møder siden 1888 – dels privat hos de brødre, der havde den fornødne plads, dels i lejede lokaler på byens hoteller.

Det var først, da overlæge, dr.med. Th. Hansen var Ordførende Broder, at den gule toldbod blev til loge, og samtidig fik St. Lucius, som den første instruktionsloge i Danmark, tilladelse til at optage nye brødre i Ordenens I grad. Det gav det lokale frimureri luft under vingerne.

I 1975 oprettedes Sankt Andreas-instruktionslogen Under Tvejen, som også har til huse i det tidligere toldkammer, og i 1989 blev St. Lucius til en arbejdende loge med ret til at optage og forfremme brødre til og med Ordenens III grad. Den første Ordførende Mester blev overlærer Knud Hansen, der havde været instruktionslogens Ordførende Broder i mange år.

Logebygningens etageareal er 140 kvadratmeter. Hertil kommer en sidebygning på 80 kvadratmeter. Logesalen har plads til ca. 60 brødre, spisestue og kaffestue til 50 hver.