Bygget som kornmølle og i drift indtil 1903.

Kastellets bager Carl August Sandberg var en egenrådig herre. Han bagte brødet til Kbh's garnison, Kronborg og Kastellet Frederikshavn. Hans brød var af en dårlig kvalitet og han lod den gamle stubmølle forfalde, så den blæste omkuld i 1846, hvorefter den nuværende mølle blev rejst..
Efter den uheldige periode med Sandberg overtog en bestyrelse driften af mølle og bageri. Den ansatte fire møllersvende, som malede både dag og nat. Den malede nu så godt mel, at selv kejserinde Dagmar ville have brød fra Kastelsmøllen til sin øllebrød. Hver femte dag afgik der skib med friske brød til Rusland.

I 1782 var der 18 voldmøller i Kbh. I 1900 var der kun Kastelsmøllen tilbage, der fungerede, men i 1903 måtte også den give op overfor udviklingen. Der blev bygget et nyt maskinhus ved bageriet, som helt op til 1960 under navnene, Hærens Brødfabrik og Den Militære Brødfabrik, forsynede garnisonerne i København med rugbrød, sigtebrød, franskbrød og tvebakker.

Møllen er driftsklar og kører på "mølledage" og på Kastellets fødselsdag d. 28 oktober. (2003)