1943 wurde der südliche Teil des nicht mehr genutzten Grundstückes des alten Klinkerwerks durch die Eigentümerin, die Deutsche Erd- und Steinwerke GmbH (DESt), an die „SS‑Kantinengemeinschaft“ verpachtet. Diese errichtete darauf eine Häftlingsgärtnerei.
Durch Häftlingskommandos wurden drei frei stehende Gewächshäuser gebaut. Die Gewächshäuser wurden auf Streifenfundamenten gegründet. Im Norden hatten sie jeweils ein massives Kopfgebäude, das in Klinkersichtmauerwerk ausgeführt war. Vermutlich befanden sich in den massiven Gebäudeteilen Neben- und Lagerräume.
Westlich vor den Gewächshäusern wurde ein Schuppen des alten Klinkerwerks abgerissen und auf der Fläche wurden mehrere Frühbeete eingerichtet. Bei einer geringen Kantenhöhe von ca. 50 cm waren diese Beete ebenfalls mit Glasscheiben bedeckt. In der Nähe waren weitere Beete angelegt. In der Umgebung der Gewächshäuser wurden zusätzliche Schuppen und Baracken errichtet, deren Nutzung bis auf eine Bienenzucht nicht bekannt ist.
Der ehemalige deutsche Häftling Waldemar Molls berichtet, dass die Baumaterialien für die Gewächshäuser auf Anordnung des Kommandanten des KZ Neuengamme, Max Pauly, nach den Bombardierungen Hamburgs teilweise aus den Trümmern in der Stadt geborgen und ins KZ Neuengamme gebracht worden seien.
Der Bereich, der später die Gärtnerei bildete, war abgeziegelt, das heißt, der Ton war für das neue Klinkerwerk durch Häftlinge abgebaut worden. Der ehemalige deutsche Häftling Hanns Imhof, ein Architekt und Ingenieur, war für den Abbau des Tones zuständig. Er berichtet, dass die Lagerleitung nach dem Tonabbau entschieden habe, in diesem Bereich einen Garten anzulegen.
Die durch den Tonabbau entstandenen Gruben wurden gemäß dem Vertrag zwischen der Deutschen Erd- und Steinwerke GmbH (DESt), der SS und der Hansestadt Hamburg „in kulturfähigem Zustand“ zurückgegeben.
„Dafür mussten“, so Hanns Imhof, „die Löcher gefüllt werden. Dies geschah mit Humus, mit Schlick aus der Elbe sowie mit Asche, vermengt mit Knochen, die aus den Krematorien kam“. Die Arbeit des Auffüllens, an der Hanns Imhof teilgenommen hat, dauerte mehrere Monate. Mehrere ehemalige Häftlinge berichten, dass die Asche aus dem Krematorium auch direkt als Dünger auf den Beeten verstreut worden sei.
In der Gärtnerei waren Häftlingskommandos für die Pflege der Gewächshäuser und der Freiflächen zuständig. Angepflanzt wurden sowohl Gemüse (u.a. Tomaten) als auch Blumen.
Am 2. Mai 1945 wurde das von der SS geräumte Konzentrationslager Neuengamme von der britischen Armee übernommen. Nachdem die britische Militärverwaltung das Gelände kurzzeitig als Lager für Displaced Persons (DP‑Camp) und als Lager für deutsche Kriegsgefangene genutzt hatte, wurde ab November 1945 ein ziviles Internierungslager, das „Civil Internment Camp No. 6“ (CIC 6), eingerichtet. Für das Jahr 1946 wurde die Gärtnerei von dem ehemaligen Häftling des KZ Neuengamme Helmut Bickel gepachtet, der dort eine so genannte „Food Agency“ einrichtete und unter anderem die britischen Soldaten mit Obst und Gemüse belieferte.
Am 6. September 1948 wurde das Gelände an die Hamburger Gefängnisbehörde übergeben, die es als „Männergefängnis Neuengamme“ weiternutzte. Bereits Anfang 1947 war die Gärtnerei an die Hamburger Saatbaugenossenschaft verpachtet worden, die die Gewächshäuser bis zum 1. Oktober 1948, wenige Wochen nach der Übergabe an die Gefängnisbehörde, nutzte. Gefangene des Männergefängnisses überbauten die Bereiche zwischen den Gewächshäusern und erweiterten dadurch die Fläche unter Glas. Anfangs nutzte die Anstaltsleitung die Gärtnerei zur Eigenversorgung des Gefängnisses mit Gemüse, später zur Züchtung von Edelnelken, die auf dem Hamburger Großmarkt verkauft wurden. Wann die Gewächshäuser abgerissen wurden, ist nicht bekannt.