Schließlich ließ er sich im Jahre 1931 von seinem Freund und späterem Mithäftling Julius Hochgräfe als Mitglied der Gemeinde der Kasseler Zeugen Jehovas taufen. In jener Zeit musste Adolf auch einen schweren Schicksalsschlag verkraften. Seine Ehefrau Anna Buchholtz verunglückte am 18.09.1930 tödlich, wahrscheinlich bei einem Verkehrsunfall.

Seine Zugehörigkeit zu den Zeugen brachte erneut eine unerwartete Herausforderung. Nach dem offiziellen Verbot der Internationalen Bibelforscher-Vereinigung vom 28.02.1933 nahmen Restriktionen und Schikanen gegenüber Zeugen Jehovas an Fahrt auf. Auch ihm war es kaum noch möglich den Lebensunterhalt zu verdienen. Bis 1934 arbeite er aushilfsweise bei der Rentenkasse in Kassel, wurde dort jedoch wegen seiner Glaubenszugehörigkeit entlassen. Mit seiner Tochter Anneliese lebte er bis zu ihrer Heirat am 18.04.1936 im gemeinsamen Haushalt. Für beide war es sehr schwer, sich finanziell über Wasser zu halten. Im Oktober 1936 wurde er zum Leiter der Gemeinde der Zeugen Jehovas in Kassel ernannt, da sein Freund und Weggefährte, Julius, der diese Aufgabe bis dahin erfüllte, bereits im Visier der Behörden stand und einer Aufenthaltsbeschränkung und Meldepflicht unterstand.

In einer Liste der SS Oberabteilung Fulda-Werra aus der Mitte 30er Jahre fand man auch Adolf Buchholtz, neben vielen anderen aus der Kasseler Gemeinde. Im Begleitschreiben wurde auf die vermeintliche Gefährlichkeit für die Volksgemeinschaft verwiesen und angeordnet das Mittel der sogenannten Schutzhaft auf die Zeugen anzuwenden. Am 20.11.1936 wurde er um 4 Uhr morgens in der Luisenstraße 5 ½ durch die Gestapo verhaftet und für einige Tage in das Untersuchungsgefängnis am Unterneustädter Kirchplatz (Elwe) gebracht. Trotzdem beteiligte er sich dann Anfang Dezember an den geheimen Vorbereitungen für die Verteilung eines besonderen Flugblattes. Die Öffentlichkeit sollte landesweit auf die Verbrechen des NS-Regimes und die Verfolgung unliebsamer Gruppen aufmerksam gemacht werden. In Kassel wurden in den frühen Abendstunden des 12. Dezember etwa 2000 Flugblätter verbreitet. In den Folgetagen wurden mehrere Mitglieder der örtlichen Gemeinde verhaftet, darunter auch Adolf.

Am 23. Dezember wurde er zunächst zur Gestapo in das Polizeipräsidium in Kassel im Königstor überstellt. In den manchmal nur 3,5 Quadratmeter großen Zellen wurden Inhaftierte verhört und auch gefoltert. Zu diesem Zeitpunkt war Adolf 59 Jahre alt. Vorliegende Dokumente zeigen, dass er bereits in jener Zeit auf ärztliche Versorgung angewiesen war. Man kann nur erahnen, wie sehr ihm bereits die Untersuchungshaft zusetzte.

Danach, am 8. Februar 1937, wurde er in das Zuchthaus Kassel-Wehlheiden gebracht. Zu dem Zeitpunkt waren in Wehlheiden neben 10 Angehörigen der Kasseler Gemeinde auch 20 - 25 weitere Glaubensbrüder aus ganz Deutschland inhaftiert. Eine zu erwartende Verurteilung würde darüber entscheiden, ob Adolf die ersten Lebensjahre seines ungeborenen Enkelkindes miterleben würde oder nicht.

Am 12.05.1937 begann um 9:00 Uhr die Hauptverhandlung des sogenannten Sondergerichtes gegen ihn und fünf weitere Mitangeklagte. Das Urteil lautete: 3 Jahre und 6 Monate Haft, wegen Hochverrat und staatszersetzendem Handeln. Seine Bücher wurden eingezogen und die Kosten des Verfahrens trug er selbst.

Am 19.05.1937 erfolgte die Verlegung in das Strafgefängnis nach Hannover, in dem er einen knappen Monat blieb. Berlin Plötzensee war sein nächster Aufenthaltsort. Obwohl er dort nur 3 Monate verbrachte, muss er damit wohl eines der traumatischsten Ereignisse in seiner Haftzeit verbunden haben. Seine damalige Verlobte Hedwig berichtete rückblickend später, dass er während seiner weiteren Haftzeit Berichte aus Plötzensee über Hinrichtungen mehrerer seiner Glaubensbrüder in Plötzensee verkraften musste.

Im September 1937 wurde er nach Brandenburg/Havel verbracht. Im dortigen Gefängnis blieb er 1½ Jahre bis zum Januar 1939. Doch auch hier sollte nicht sein letzter Haftort gewesen sein.

In Berlin-Tegel kam er am 05.01.1939 an und blieb dort bis zum offiziellen Haftende am 12.10.1940. In dieser Zeit war er auf 55 kg bei 1,71 Meter abgemagert. Der Gefangene Nr. 2492 erlitt in währenddessen diverse Verletzungen durch Arbeitsunfälle. Nahezu während seiner gesamten Haftzeit war er in den verschiedenen Gefängnissen gleichzeitig mit Julius Hochgräfe untergebracht – wahrscheinlich ein kleiner Lichtblick in dunklen Zeiten.

Dass er zum offiziellen Ende seiner Strafe als gesund und arbeitsfähig eingestuft wurde, ist kaum zu verstehen. Offensichtlich blieb er in seiner inneren Überzeugung ungebrochen. Am 12.10.1940 wurde er mit den Hinweisen „ob eine Wandlung erfolgt ist, ist zweifelhaft“ und „politisch hat er sich nicht brauchbar gemacht“ der Gestapo in Berlin übergeben.

Man brachte ihn zur Staatspolizeileitstelle am Berliner Alexanderplatz, um dort endgültig über seine Freilassung zu entscheiden. Die Haftbedingungen hier waren noch unmenschlicher als zuvor. In einer Zelle voll Ungeziefer, die für 10 Personen ausgelegt war, wurden zeitweise 25 Häftlinge untergebracht. Am Montag, den 10.02.1941, endete vorläufig für Adolf diese Leidenszeit.