In den späten 1950er Jahren war das Schwimmen im Postteich aus hygienischen Gründen nicht mehr erlaubt. Doch der Wunsch nach einer neuen Bademöglichkeit in der Region war groß. So beschlossen engagierte Bürger aus Heidenoldendorf und Pivitsheide VH, einen Freibad-Zweckverband Heidenoldendorf-Pivitsheide VH zu gründen. Der Verband nahm am 26. Januar 1961 offiziell seine Arbeit auf, und nach einer Satzungsänderung am 4. Mai 1962 konnte endlich der Bau des Freibads in Angriff genommen werden.
Im Juni 1965 war es dann soweit: Das Freibad Schwarzenbrink öffnete feierlich seine Tore – begleitet von einem großen Schwimmfest, das viele Besucher anzog. Damals galt das Freibad als eines der modernsten in ganz Lippe.
Doch die Zeit hinterließ auch hier ihre Spuren, und notwendige Investitionen wurden immer dringlicher. Ein kompletter Neubau war jedoch finanziell nicht tragbar, da dies die Schließung der drei anderen Detmolder Bäder bedeutet hätte.
Nach mehreren Anläufen gelang es schließlich im April 2007, einen Förderverein zu gründen. Dank des Engagements der Ortsvorsteher von Heidenoldendorf und Pivitsheide VH sowie der Unterstützung durch CDU, SPD und Grüne wurde am 18. April 2007 der Freibadförderverein Schwarzenbrink e.V. ins Leben gerufen – und rettete so das Freibad vor der drohenden Schließung.
