Nachdem sich die noch kleine jüdische Gemeinde kurz nach dem 30-jährigen Krieg, etwa 1653/1654, in Gailingen niedergelassen hatte, gehörte aus Sorge um die Toten die Suche nach einer geeigneten Begräbnisstätte zu ihren ersten Anliegen. Land durften Juden nicht erwerben und für Juden und Christen war es gleichermaßen unvorstellbar, auf einem christlichen Friedhof, jüdische Ortsansässige beizusetzen. Der Schutzbrief der Freifrauen von Reinach vom 20. September 1657 hielt daher folgendes bereits fest: „Jtem soll ihn ein Orth von gnäd(iger) herrschaft oder gemeind zu begräbnuss der erth nominirt werden; …“ Für eine Gebühr übernahmen daraufhin die Juden unterhalb des Bürgli Schlosses ein bewaldetes Grundstück auf Pachtbasis, das weit genug entfernt von der Gemarkung Gailingen lag und aufgrund des steilen Abhangs und der Bewaldung landwirtschaftlich nicht genutzt werden konnte. Mit der Gründung der Chewra Kadischa, der Heiligen Bruderschaft, in 1676 trat diese als Pächterin des Geländes auf.

Da den anderen jüdischen Gemeinden im Hegau, Randegg, Wangen und Worblingen, zunächst die Errichtung eines eigenen Friedhofs verwehrt wurde, mussten sie sich die Begräbnisstätte am Bürgli mit der Gailinger Gemeinde teilen. Auf dem ausgedehnten Gräberfeld in Gailingen wurden somit zunächst auch die Israeliten aus Randegg (bis 1746), aus Wangen am Untersee (bis 1827), Worblingen (bis 1857) und teilweise aus Donaueschingen bestattet. Für die Wangener jüdischen Familien war dies sehr problematisch, weil sie für die auf dem Rhein transportierte Leiche eines Erwachsenen 1 Gulden und für die eines Kindes 30 Kreuzer bei der Anlandung an die Stadt Diessenhofen entrichten mussten. Zudem mussten die Leichen durch Obergailingen, das damals zum Stadtgebiet von Diessenhofen gehörte, transportiert werden, wofür ein zusätzlicher Wegzoll erhoben wurde. Durch mehrere Grundstückszukäufe, letztmalig 1914 von den Erben des jüdischen Gemeinderats Simon Rothschild, erreicht der jüdische Friedhof heute eine Fläche von über 150 Ar. Mitte der 1990er Jahre wurde der Friedhof durch das Bamberger Familien Archiv, Jerusalem, in einem zweibändigen Memor-Buch, (Seelenbuch einer jüdischen Gemeinde) dokumentiert. Zu diesem Zeitpunkt konnten über 1.550 Gräber mit Namen identifiziert werden. Die Zahl der Grabstellen liegt aber weitaus höher. Damit gehört der jüdische Friedhof von Gailingen zu den größten in Baden. Die älteste Grabstelle, die damals identifiziert werden konnte, datierte von 1692.

In der Zeit der nationalsozialistischen Herrschaft wurden auf dem Friedhof etwa 20 jüdische Einwohner beigesetzt. Als letzte wurde vor der Deportation in das Lager Gurs am 6. Oktober 1940 Regina Strauss, geb. Sommer, die im jüdischen Krankenhaus verstorben war, beerdigt. Bis zum Kriegsende am 8. Mai 1945 wurde der Friedhof mehrfach geschändet, vor allem aber verwahrloste er völlig.

Am 13. Mai 1945 fand in Diessenhofen ein Dankgottesdienst der jüdischen Gemeinde (einstige Gailinger Juden, die in die Schweizer Nachbargemeinde emigriert sind) statt. Danach ging eine kleine Delegation unter der Führung von Emil Weil und Willi Ottenheimer hinauf nach Gailingen. Nach einem Halt an dem Platz, wo einst die Synagoge stand, besuchten sie zunächst Arthur Guggenheim, der die Zeit der Diskriminierung, Entrechtung und Verfolgung in Gailingen überlebt hatte. Im Anschluss daran suchte die Gruppe den für die Erinnerung so wichtigen Friedhof auf, dort wo die Vorfahren ruhten.

Am 7. Juli 1945 wurde in Gailingen ein Bereinigungs- und Wiedergutmachungs-Ausschuss gebildet, der NS-belastete Ortsansässige anhielt, „die durch die Nazi entstandenen Ungerechtigkeiten und Mißstände zu beheben und soweit wie möglich wieder gutzumachen.“ Punkt 1 einer Liste von Aufgaben dieses Ausschusses waren „die Arbeiten zur Wiederinstandsetzung des jüd. Friedhofes“.Unter dem 6. Oktober 1946 schreibt Willi Ottenheimer in einem Brief an Herrn und Frau Dr. Sigmund Heilbronn u.a.:

„Der Friedhof in Gailingen ist nun mein jüngstes Kind – als treuer Behüter alter Tradition (…) werde ich in seinem Sinne weiter handeln. Die Freunde Gailingens im Auslande haben sich für die Kosten des Unterhaltes bereit erklärt aufzukommen und ist Gärtner Hany der Mann, der Ordnung hält und Bildhauer Schwarz von Gottmadingen wird die Steine in Ordnung halten. Drahtgitter für die Einzäunung , soweit diese im Laufe der Jahre kaput(t) gegangen ist, Zement für die Fundamente der abgebrochenen Grabsteine beziehen wir aus der Schweiz u.s.w. sodass man sagen kann, unser über 270 jähriger Friedhof ist wieder in Ordnung und wird in Ordnung gehalten.“

Der genannte Verein der Freunde Gailingens im Ausland wurde 1936 mit dem Ziel gegründet, Auswanderungen zu organisieren und Emigranten zu unterstützen. Nach dem Krieg ist diese Basis entfallen; neue Aufgaben haben sich aufgetan.

Zur gleichen Zeit legte Emil Weil ein neues Friedhofsregister an, überarbeitete und aktualisierte damit das von Karl Bloch im Jahre 1934 für die Heilige Bruderschaft Gailingen angelegte Register.

Am 19. September 1948 fand eine erste offizielle Gedenkfeier auf dem jüdischen Friedhof statt. Zu diesem Anlass wurde der Gedenkstein am westlichen Ende der kleinen Allee eingeweiht. Der Stein trägt die Inschrift: „Zum ewigen Gedenken an die Gailinger Juden, welche am 22. Oktober 1940 deportiert und in den Konzentrationslagern ums Leben gebracht wurden. Errichtet 19.9.1948“

Zu diesem Zeitpunkt wurden auch die beiden Tafeln mit den Namen der im Ersten Weltkrieg gefallenen jüdischen Bürger an dem Taharahäuschen (Häuschen für die Leichenwäsche) angebracht. Die Tafeln wurden mittlerweile durch Replikate ersetzt; die Originale sind heute im Jüdischen Museum Gailingen ausgestellt.

Durch Restitutionsurteil des Badischen Landgerichts in Konstanz vom 4. September 1949 wurde aller Grundbesitz der jüdischen Gemeinde, u.a. der Friedhof und der Synagogenplatz an die Israelitische Religionsgemeinschaft in Baden mit Sitz in Karlsruhe, vertreten durch den Oberrat der Israeliten in Baden, als Rechtnachfolger der ehemaligen jüdischen Gemeinden, zurückgegeben. Seither wird von dieser Stelle aus auch der jüdische Friedhof in Gailingen betreut.

Die jüdische Religion erinnert die Gläubigen immer wieder an das Ende des irdischen Lebens und an das Weiterleben nach dem Tod. Dieser fundamentale Grundgedanke wurde und wird seit der Wiederinstandsetzung des jüdischen Friedhofs durch den Verein der Freunde Gailingens im Ausland und später durch dessen Rechtsnachfolger, den Verein zur Erhaltung des jüdischen Friedhofes Gailingen, Sitz Zürich aufrechterhalten und gepflegt. Der Verein lädt jährlich für den letzten Sonntag vor den hohen jüdischen Feiertagen, dem ersten Tag der Selichot-Gebete, der Gebete der Buße und Verzeihung, zu einer sehr würdevollen Gedenkfeier ein, zu der sich Nachkommen ehemaliger jüdischer Bürger Gailingens aus aller Welt am Friedhof zum Kaddisch, zum Gedenken, zur Erinnerung und zum verantwortungsvollen Umgang mit der Vergangenheit versammeln.