Nachdem Ende 1942 sowohl die vertraglichen Vereinbarungen mit dem Hamburger Architekten Paul Alfred Richter als auch die Entwurfs- und Ausführungsplanungen Richters und der Zentralbauleitung der Waffen‑SS und Polizei Hamburg-Neuengamme (ZBL) sowie die vorbereitenden Untersuchungen des Geländes durch die ZBL abgeschlossen waren, wurde ab Anfang 1943 mit dem Rohbau der „Metallwerke Neuengamme“ durch Häftlingskommandos begonnen.
Die „Metallwerke Neuengamme“ bzw. der von der SS „Fertigungsstelle“ oder „Fertigungsstelle P+38“ und von ehemaligen Häftlingen später „Walther-Werke“ (nach den Eigentümern der Firma) bezeichnete Industriekomplex, umfasste eine Vielzahl von Gebäuden: die eigentliche Produktionshalle, die aus einem Mitteltrakt und sechs Querflügeln bestand, der dazugehörigen Schmiede und verschiedenen Nebengebäuden wie einem Heiz- und einem Umspannwerk, einer Tischlerei, Garagen sowie Baracken, in denen die Zivilangestellten der Walther-Werke untergebracht waren.
Außerdem mussten eine 7,5 km lange Hochspannungsleitung mit vier Transformatorenstationen und eine 1,5 km lange Gasleitung errichtet werden. Die Versorgung der Walther-Werke mit Energie erfolgte durch die Hamburgische Electricitäts-Werke AG und die Hamburger Gaswerke GmbH.
In einem Bauzeitenplan hatte der Architekt Paul Alfred Richter das in mehreren Teilabschnitten zu errichtende Bauvorhaben terminiert. Der erste Abschnitt (nördlicher Teil der Walther-Werke) sollte danach bereits am 1. Februar 1943, der zweite Abschnitt (südlicher Teil der Walther-Werke) am 1. Juli 1943 und der dritte Abschnitt (Schmiede) am 1. November 1943 fertig gestellt werden.
Es kam jedoch trotz des Einsatzes von bis zu 764 Häftlingen auf der Baustelle zu Verzögerungen. Bis Februar 1944 waren lediglich der erste und der zweite Bauabschnitt fertig gestellt. Die Schmiede, deren Anbindung an die Produktionshallen nochmals planerisch überarbeitet wurde, ist nicht mehr fertig gestellt worden, die Bauarbeiten an einem geplanten Schießstand wurden überhaupt nicht mehr begonnen. Die Bauleitung oblag dem Architekten und Leiter der Zentralbauleitung der Waffen‑SS und Polizei Hamburg-Neuengamme (ZBL), Karl Fricke. Als Bauleiter vor Ort bzw. als Leiter der Baukommandos sind jedoch überwiegend Angehörige der SS‑Wachmannschaften eingesetzt worden, die die Häftlinge mit äußerster Brutalität antrieben.
Bei dem Gebäudekomplex der „Metallwerke Neuengamme“ handelte es sich um einen konventionellen eingeschossigen Industriebau, der in Klinkerbauweise ausgeführt wurde. Der 210,00 m × 20,76 m große Hauptbaukörper war mit 4,60 m Wandhöhe (Dachhöhe 8,50 m) etwas höher als die sechs anschließenden 3,80 m hohen Querflügel (Dachhöhe 6,70 m). Die Länge der vier äußeren der 13,86 m breiten Querflügel betrug 63,60 m, die der mittleren 41,45 m. Damit besaß die Montagehalle der Fertigungsstelle eine Grundfläche von 9034 m2. Die Montagehalle war stützenfrei konstruiert, sodass die gesamte Grundfläche uneingeschränkt zur Einrichtung der Produktionsanlagen genutzt werden konnte.
Wie schon beim Neubau des Klinkerwerks wurde zuerst ein Holzfachwerk mit dem darauf liegenden Dachstuhl errichtet und erst anschließend wurden die Zwischenräume ausgemauert. Der Termindruck zeigt sich daran, dass das Dach lediglich als Teerpappdach ausgeführt wurde, obwohl eine spätere Eindeckung mit Dachpfannen eingeplant und bei der Bemessung und der Konstruktion des Dachstuhles auch berücksichtigt war. Schwierigkeiten entstanden auch durch die Materialkontingentierung. So wurde versucht, möglichst viel Holz einzusparen und es durch den nahezu unbegrenzt verfügbaren Baustoff Klinker zu ersetzen. Dies führte jedoch zu Diskussionen zwischen dem Architekten Richter und der ZBL über die Konstruktion des Gebäudes. Als ein Ergebnis der Materialeinsparung mussten an den Eingangsbereichen in die einzelnen Hallenflügel geplante Fenster aus statischen Gründen wegfallen und als geschlossene Wandscheiben ausgebildet werden.
Trotz der Probleme bei der Bauausführung wirkt die nüchterne Industriearchitektur durch den vorwiegend eingesetzten, für die Region typischen Baustoff Klinker und andere regional typische Gestaltungselemente in sich geschlossen. Die Fertigungshalle hatte umlaufend große Fenster, da für den Produktionsprozess ein ausreichender Lichteinfall notwendig war. Die im Bereich des Hauptbaukörpers 1,00 m × 2,95 m und im Bereich der Querflügel 1,00 m × 2,15 m großen Fenster, waren in Dreiergruppen mit 25 cm breiten Pfeilern angeordnet und erhielten durch 62,5 cm breite Wandflächen zwischen den Dreiergruppen (entsprechend dem innenliegenden Stützenraster von 4,50 m) eine gewisse Struktur.
Der Gebäudekomplex war nicht unterkellert, da dies von seiner Funktion her nicht notwendig war und aufgrund des extrem hohen Grundwasserstandes mit großem Aufwand verbunden gewesen wäre. Lediglich die Schmiede erhielt einen Keller, dessen Funktion aber nicht geklärt ist. Ausgedehnte Betoneinbauten machen ihn als Kellerraum nicht nutzbar. Die verschachtelten Gänge könnten auf eine Funktion als Bunker hindeuten. Wahrscheinlicher ist jedoch, dass es sich dabei um die notwendigen Fundamente für die nicht mehr eingebauten Schmiedemaschinen handelte. Die nicht weiter erklärbare Ansiedlung der SS‑Sonderinspektion VII des Kammler-Stabes in der Amtsgruppe C im SS‑Wirtschafts-Verwaltungshauptamt (WVHA) im KZ Neuengamme verweist aber auch auf die Möglichkeit, dass es sich bei dem Keller um ein Projekt der Untertageverlagerung von Rüstungsbetrieben handelte.
Entsprechend der Bedeutung des Bauvorhabens für die NS‑Rüstungsindustrie und einer angenommenen Gefährdung durch Bombenangriffe wurde dem Luftschutz und der Tarnung des Gebäudekomplexes große Bedeutung beigemessen. So wurden die technischen Versorgungseinrichtungen zusätzlich gesichert und auf dem Gelände zwei Bunker errichtet. Zur Tarnung der markanten Fertigungsstelle wurde eigens ein Fachmann für Tarnung herangezogen. Die Fertigungsstelle wurde in der Dachfläche farblich so strukturiert, dass sie aus der Luft den Eindruck mehrerer kleiner Baracken vermitteln sollte.
Am 2. Mai 1945 wurde das von der SS geräumte Konzentrationslager Neuengamme von der britischen Armee übernommen. Nachdem die britische Militärverwaltung das Gelände kurzzeitig als Lager für Displaced Persons (DP‑Camp) und als Lager für deutsche Kriegsgefangene genutzt hatte, wurde ab November 1945 ein ziviles Internierungslager, das „Civil Internment Camp No. 6“ (CIC 6), eingerichtet. Der gesamte südliche Bereich des KZ wurde dazu in sieben eigenständige Lager unterteilt. Die Walther-Werke wurden ab Dezember 1945 als Lager I bezeichneter Teilbereich zur Unterbringung von Internierten genutzt. Neben der Unterbringung von Internierten wurden in dem Gebäudekomplex auch eine Gemeinschaftshalle (ab 1947 Theatersaal mit Bühne), Werkstätten und administrative Räume eingerichtet. Die Schmiede wurde als eigenständiges Lager VII ebenfalls zur Unterbringung von Internierten genutzt. Hierfür wurden ein neues Küchengebäude und eine neue Latrine errichtet.
Am 6. September 1948 wurde das Gelände an die Hamburger Gefängnisbehörde übergeben, die es als „Männergefängnis Neuengamme“ weiternutzte. In den ehemaligen Walther-Werken wurden verschiedene Werkstätten für Gefangene eingerichtet, die teilweise auch durch externe Firmen betrieben wurden. Die hölzernen Baracken wurden nach und nach abgerissen. Die massiven Nebengebäude wie das Heiz- und das Umspannwerk oder die Garagen und das Verwaltungsgebäude wurden weitergenutzt.