Nachdem im Januar 1940 der Reichsführer SS, Heinrich Himmler, das KZ‑Außenlager Neuengamme besucht hatte, wurde ab Februar 1940 noch während der Frostperiode die Errichtung eines eigenständigen Konzentrationslagers, ca. 1,5 km vom alten Klinkerwerk entfernt, vorbereitet.
Aus dem KZ Sachsenhausen kam Anfang März 1940 ein Häftlingstransport mit 120 Häftlingen. Unter ihnen befanden sich zahlreiche Handwerker und Facharbeiter, die zunächst mit Transportarbeiten beschäftigt wurden. Die anfangs als „Bahnhofskommando“ bezeichneten Häftlinge holten Barackenfertigteile und weitere Baumaterialien vom Bahnhof Curslack.
Nachdem Anfang Mai 1940 weitere 350 Häftlinge aus dem KZ Sachsenhausen in Neuengamme ankamen, wurde sowohl im SS‑Lager als auch im „Schutzhaftlager“ (Häftlingslager) mit der Aufstellung der ersten Baracken begonnen. Bis zum 1. Juni 1940 waren die ersten zwei Häftlingsbaracken nahezu fertig gestellt. In diese ersten zwei provisorisch nutzbaren Baracken wurden die bis dahin im alten Klinkerwerk untergebrachten Häftlinge verlegt.
Nur drei Tage später, am 4. Juni 1940 – dem Tag an dem das KZ Neuengamme offiziell ein eigenständiges Hauptlager wurde –, kam ein weiterer Transport aus dem KZ Sachsenhausen in Neuengamme an. Die Häftlinge wurden in einer dritten fertig gestellten Baracke untergebracht. In einer Hälfte dieser Baracke 3 wurde außerdem ein erstes Häftlingskrankenrevier untergebracht. Zwei abgeteilte Räume von jeweils ca. 12 m2 Grundfläche nahmen das Krankenrevier und die Ambulanz auf.
Nach der Belegung der ersten drei Baracken wurde die Arbeit an der Errichtung von weiteren SS‑ und Häftlingsunterkünften mit allen Mitteln vorangetrieben. Im Juni 1940 befanden sich weitere 10 bis 12 Häftlingsbaracken im Rohbau. Der gesamte Arbeitseinsatz im KZ Neuengamme diente im Jahr 1940 dem Lageraufbau.
Bis zum Oktober 1940 wurden insgesamt 18 Baracken errichtet, von denen 14 als Häftlingsunterkünfte und 4 als Werkstatt- bzw. Lagerbaracken genutzt wurden. In den Baracken 15–18 waren unter anderem die Tischlerei und Schlosserei sowie eine Bekleidungs- und eine Gerätekammer untergebracht.
Gleichzeitig mit der Errichtung der Häftlingsbaracken wurden auch der Versorgungs- und der Verwaltungsbereich im „Schutzhaftlager“ aufgebaut.
Bis Mitte 1940 wurde südwestlich des Appellplatzes die Effektenkammer errichtet; es war das erste Gebäude im „Schutzhaftlager“ aus Stein. Die „Effekten“, das Hab und Gut der Häftlinge, stellte offenbar einen hohen ökonomischen Wert dar.
Durch den Ausfall einer großen Zahl von Arbeitskräften sah sich die SS‑Lagerführung im Herbst 1940 gezwungen, das bisher in der Häftlingsbaracke 3 untergebrachte Krankenrevier zu vergrößern. Im September 1940 wurde östlich der Effektenkammer eine eigenständige Krankenrevierbaracke eingerichtet. Jedoch reichte auch dieses Krankenrevier bei weitem nicht aus, sodass auch weiterhin Kranke in das Krankenlager des KZ Dachau abgeschoben wurden.
In dieser frühen Phase des Lagerausbaus wurde mit der Rapportführer- und der Schutzhaftlagerführer-Baracke auch eine gewisse Eingangssituation geschaffen, die allerdings nicht als „repräsentativ“ gelten kann. Das Eingangstor war lediglich ein einfaches Holztor mit einer Stacheldrahtbespannung.
Durch das Tor gelangten die Häftlinge auf die zu diesem Zeitpunkt noch unbefestigte Lagerstraße, die zu der ebenfalls im Zuge des ersten Lagerausbaus Mitte 1940 errichteten Küchenbaracke führte, sowie auf den auch noch nicht befestigten Appellplatz, der nördlich an die Lagerstraße grenzte.
Im September 1940 begann das „Straßenbau-Kommando“, die Zufahrtstraße zum Lager (Neuer Heerweg, heute Jean-Dolidier-Weg) auf einer Länge von ca. 1 km auszubauen und mit Betonplatten zu befestigen. Die 2,00 m × 4,00 m großen Platten waren versetzt in zwei parallel liegenden Streifen verlegt.
Ab November 1940 wurde durch ein weiteres Häftlingskommando der Appellplatz betoniert, wobei aufgrund des Frostes die Arbeiten im Winter teilweise eingestellt werden mussten. Im Sommer 1941 wurden die Arbeiten am Appellplatz abgeschlossen. Zur gleichen Zeit wurde begonnen, die südlich angrenzende Lagerstraße mit rötlichen Porphyrsteinen zu pflastern.
Anfang 1941 wurde während der Errichtung der Werkstattbaracken mit dem Bau einer weiteren Wirtschaftsbaracke begonnen. Entgegen den bautechnischen Bedingungen – im Bereich des KZ Neuengamme bestand ein extrem hoher Wasserstand – wurde mit dem Aushub und der Errichtung eines massiven Kellergeschosses begonnen, des so genannten Kartoffelkellers. Darauf wurde eine Holzbaracke errichtet, in der die Häftlingskantine eingerichtet wurde.
Im Sommer 1941 wurden wie in allen anderen Konzentrationslagern aufgrund Mangels an Baustoffen auch im KZ Neuengamme alle Aufbauarbeiten eingestellt. Wie lange dieser Baustopp dauerte, ist nicht bekannt.
Im Winter 1941/Frühjahr 1942 begann die SS mit dem Bau einer Entlausungsanlage und eines Häftlingsbades, um die sich rapide verschlechternden hygienischen Bedingungen zu „verbessern“. Parallel stehend zur Effektenkammer entstand eine ebenfalls massive Bekleidungskammer.
Im Herbst 1941 wurden die Baracken 7 und 14 durch einen Drahtzaun vom übrigen Häftlingslager abgetrennt und als Lager für 1000 sowjetische Kriegsgefangene genutzt. In dem so genannten „Kriegsgefangenen-Arbeitslager“ waren die Lebensbedingungen noch schlechter als in den anderen Häftlingsbaracken. Jegliche Inneneinrichtung fehlte und der Bodenbelag bestand lediglich aus Säge- und Hobelspänen. Von den sowjetischen Kriegsgefangenen starben 652 unter diesen unmenschlichen Bedingungen. Ende Juli 1942 wurden die 348 noch lebenden sowjetischen Kriegsgefangenen in das KZ Sachsenhausen überstellt.
In der dadurch frei gewordenen Baracke 14 wurde als Reaktion auf die von Dezember 1941 bis März 1942 grassierende Flecktyphusepidemie und zur „Verbesserung“ der auch weiterhin schlechten medizinischen Versorgung das Krankenrevier II eingerichtet. Doch auch diese Erweiterung der medizinischen Versorgung reichte nicht aus und es wurde im Winter 1942/43 parallel stehend vor der Effektenkammer und dem Krankenrevier I mit der Aufstellung von drei Baracken begonnen, die nunmehr die Krankenreviere II bis IV bildeten.
Ab 1943 gab es erneut eine rege Bautätigkeit. Im „Schutzhaftlager“ (Häftlingslager) wurden zwei Klinkergebäude (die sogenannten Steinhäuser I und II) errichtet und das „Schutzhaftlager“ wurde südlich erweitert.
Hinter der Krankenrevierbaracke I wurde im Frühjahr 1944 auf der Erweiterungsfläche des „Schutzhaftlagers“ eine so genannte „Sonderbaracke“ aufgestellt, die als Häftlingsbordell diente. Gefangene aus dem Frauen‑KZ Ravensbrück wurden dort durch psychischen und physischen Druck, aber auch durch das Versprechen der Freilassung zur Prostitution gezwungen. Im System der Häftlingsausbeutung sollte die Möglichkeit von Bordellbesuchen ebenso wie das 1943 eingeführte Prämiensystem eine Leistungssteigerung der Häftlinge bewirken. Die Bordellbaracke war durch einen Zaun vom übrigen Häftlingslager abgetrennt. Blumenkästen sollten für eine „gefällige“ Fassade sorgen. Der Zugang erfolgte unter einem aufgeständerten Wachturm hindurch.
An den Neuen Heerweg (heute Jean-Dolidier-Weg) grenzend wurden rechtwinklig zur Bekleidungskammer im Oktober 1944 auf der Erweiterungsfläche des „Schutzhaftlagers“ zwei weitere Sonderbaracken aufgestellt. Dabei handelte es sich um OKH-Pferdestallbaracken die gemäß einer Typologisierung des SS-Hauptamts Haushalt und Bauten (HAHuB) als Kriegsgefangenenunterkunft für bis zu 400 Kriegsgefangene vorgesehen war. Der Bereich, in dem die beiden Baracken standen, wurde gesondert gesichert und als so genanntes „Sonderlager für französische Prominente“ eingerichtet.