Im Juli 1944 wurden 399 französische Häftlinge in so genannte „Geiselhaft“ genommen und im Juli 1944 in zwei Transporten ins KZ Neuengamme deportiert. Aufgrund ihres gesellschaftlichen Status – es handelte sich um Persönlichkeiten aus allen Bereichen des gesellschaftlichen Lebens – erhielten sie im „Schutzhaftlager“ (Häftlingslager) eine bevorzugte Behandlung. Diese von den anderen Gefangenen getrennten französischen Häftlinge mussten nicht arbeiten und wurden etwas besser behandelt, wobei die Ernähung allerdings ebenso schlecht wie bei den anderen Häftlingen war.
Anfangs wurden diese französischen Häftlinge provisorisch in den Kellerräumen des westlichen Klinkergebäudes und anschließend jeweils für kurze Zeit in verschiedenen Baracken untergebracht.
Im Oktober 1944 wurde ein gesonderter Bereich im Südwesten des „Schutzhaftlagers“ zur Unterbringung vorbereitet. Eine bis dahin als Erweiterungsfläche vorgesehenen Fläche wurde eingezäunt und in den bisherigen Außenzaun des „Schutzhaftlagers“ im Bereich der „Oase“ ein Tor eingebaut, das als Zugang in das Sonderlager diente.
In dem abgetrennten Bereich wurden zwei 9,60 m × 41,30 m große Pferdestallbaracken errichtet. Anders als bei den übrigen Baracken wurden die Pferdestallbaracken lediglich auf Punktfundamenten gegründet. Dies deutet darauf hin, dass diese Baracken sehr schnell errichtet wurden. In den Baracken wurde lediglich jeweils ein einziger großer Raum mit je 200 Betten belegt. Anders als vergleichbare Pferdestallbaracken (wie beispielsweise in Auschwitz-Birkenau) verfügten diese nicht nur über Oberlichter im erhöhten Mitteltrakt, sondern auch über Fenster.
Wie auch bei den übrigen Unterkunftsbaracken lagen an einem Ende der Baracke eine Latrine und einen Waschraum.
Der Bereich zwischen den Pferdestallbaracken wurde mit Ausschusssteinen und Fehlbränden aus der Klinkerproduktion gepflastert, die nördliche Freifläche war teilweise gepflastert, teilweise mit Schlacke befestigt. An den nördlichen Ausgängen befanden sich kleine, gestaltete Grünflächen. Eine Entwässerung mit mehreren Abflüssen im Hof sorgte für eine einigermaßen trockene Fläche.
Am 2. Mai 1945 wurde das von der SS geräumte Konzentrationslager Neuengamme von der britischen Armee übernommen. Nachdem die britische Militärverwaltung das Gelände kurzzeitig als Lager für Displaced Persons (DP‑Camp) und als Lager für deutsche Kriegsgefangene genutzt hatte, wurde im November 1945 ein ziviles Internierungslager, das „Civil Internment Camp No. 6“ (CIC 6), eingerichtet. Der gesamte südliche Bereich des KZ wurde dazu in sieben eigenständige Lager unterteilt. Die Pferdestallbaracken des Sonderlagers für französische Prominente wurden umgebaut und einzelne Räume abgeteilt.
Ursprünglich sollten die Baracken zusammen mit der Bordellbaracke den Internierungslagerbereich für Frauen bilden. Aus nicht bekannten Gründen wurde dieser Lagerbereich aber nicht hier eingerichtet. Stattdessen wurden die beiden Baracken ab Februar 1946 als gesondertes Lager IV zur Unterbringung von Kriegsverbrechern und gefährlichen Internierten genutzt. Später wurde die westliche der beiden Baracken als Vernehmungsbaracke genutzt. Am 6. September 1948 wurde das Gelände an die Hamburger Gefängnisbehörde übergeben, die es als „Männergefängnis Neuengamme“ weiternutzte. Die Baracken des Sonderlagers wurden nicht weitergenutzt und wurden spätestens bis zum 5. Oktober 1950 abgerissen.