Westlich des SS‑Lagers ließ sich der Kommandant des KZ Neuengamme, SS‑Sturmbannführer Max Pauly, 1944 ein kleines „Haus“ errichten. Dabei handelte es sich allerdings nur um eine abgewandelte Normbaracke, die auf einem erhöhten Kellergeschoss, das ca. 1 m über das Bodenniveau hinausragte, aufgestellt wurde. Dem Eingang war ein kleiner Windfang vorgelagert. Die Außenwände waren wie bei Normbaracken üblich aus mehreren Modulen in Holztafelbauweise zusammengesetzt. Das Dach war steiler als bei vergleichbaren Baracken, aber lediglich als Kriechboden nutzbar, und mit Dachpfannen gedeckt.
Im Inneren gab es mehrere kleine Räume, in denen Pauly mit seinen fünf Kindern und seiner Schwägerin wohnte (seine Frau war im August 1944 verstorben). Das Haus verfügte über eine kleine Küche und ein Badezimmer. Anders als der zugrunde liegenden Barackentyp war das Haus des Kommandanten unterkellert. Hier befand sich unter anderem ein kleiner Weinkeller.
Das kleine Grundstück lag inmitten der Tongruben und war in bescheidenem Rahmen gärtnerisch gestaltet. Östlich des Hauses wurde 1944 eine Garage errichtet.
Am 2. Mai 1945 wurde das von der SS geräumte Konzentrationslager Neuengamme von der britischen Armee übernommen. Nachdem die britische Militärverwaltung das Gelände kurzzeitig als Lager für Displaced Persons (DP‑Camp) und als Lager für deutsche Kriegsgefangene genutzt hatte, wurde ab November 1945 ein ziviles Internierungslager, das „Civil Internment Camp No. 6“ (CIC 6), eingerichtet. Das Kommandantenhaus wurde hier vom britischen Kommandanten als Unterkunft genutzt.
Am 6. September 1948 wurde das Gelände an die Hamburger Gefängnisbehörde übergeben, die es als „Männergefängnis Neuengamme“ weiternutzte. Das ehemalige Haus des Kommandanten bezog der erste Leiter des Männergefängnisses, Fritz Schütt, mit seiner Familie.
In der Umgebung des KZ Neuengamme hat es ein baugleiches Haus gegeben. Über den Hintergrund seiner Errichtung und über seine Bewohnerinnen und Bewohner ist bis heute nichts bekannt.