Auch die gerade aus der Bezirksklasse abgestiegene 1. Herrenmannschaft konnte sich nicht gut auf dem ungewohnten Platz zurechtfinden und fiel, auch durch Abwanderung einiger guter Spieler, in die Mittelmäßigkeit zurück. Diese Krise zieht sich leider auch noch über die Jahre 1955/56 hin.
Auf der Generalversammlung im Jahre 1956 sagte der Gründer und 1. Vorsitzende Wilhelm Volger ein paar bedeutende Worte: " Man könne zwar auf 10 Jahre Vereinsarbeit zurückblicken, aber mit der Gründung eines Vereins sei es nicht getan, ihn zu erhalten sei viel schwieriger".

In diesem Sinne bat er um eine aktivere Mitarbeit eines jeden Mitgliedes im Verein, denn nur so könne man die augenblicklichen Schwierigkeiten überwinden. Im Jahre 1957 stellt sich Wilhelm Volger aus Altersgründen nicht wieder zur Wahl. Er wird daraufhin einstimmig zum ersten Ehrenvorsitzenden des Vereins ernannt. Sein Nachfolger wird Heins Ehlers. Auch unter ihm gelang es dem Verein nicht, aus der Mittelmäßigkeit herauszukommen, es musste sogar mit dem Abstieg aus der 1. Kreisklasse gerechnet werden.
Im nächsten Jahr wählt man Friedrich-Wilhelm Engelke zum 1. Vorsitzenden. Aufgrund der vernachlässigten Jugendarbeit der letzten Jahre musste man die 2. Herrenmannschaft abmelden damit wenigstens die Erste ausreichend Spielermaterial zur Verfügung hat.
1959 zeichnet sich ein leichter Aufschwung ab. Der RSV erkämpft seinen ersten Pokal seit bestehen des Vereins. Doch es dauert noch bis 1961, bis der RSV wieder in der 1. Kreisklasse vertreten ist, deren Erhalt man auch für die nächste Saison sichern kann. Das Vereinsleben ist zu dieser Zeit wieder aktiver geworden, besonders Aufmerksam schenkte man der Jugendarbeit, so dass man berechtigte Hoffnung für die Zukunft haben durfte.

Rehburger Raths-Keller Treffpunkt der Sportler

1963 machte der Sportplatz "An der Bleiche" erneut Sorgen, er wurde von vielen Schiedsrichtern beanstandet, die Schlacke war zu grob und bei Regenwetter glich er einer riesigen Wasserpfütze. Deshalb verlegte man noch im gleichen Jahr eine Dränage im Platz.
Doch die Schiedsrichter wussten auch gutes über den RSV zu berichten, so wurde der RSV 1964 von ihnen als bestangezogene Mannschaft bezeichnet.