Die Wurzeln des FC Union Mühlhausen reichen bis in das Jahr 1972 zurück. Damals entstand die BSG Union Mühlhausen durch den Zusammenschluss der Betriebssportgemeinschaften BSG Post Mühlhausen und BSG Motor Mühlhausen. Beide Vereine sowie die ASG Vorwärts Mühlhausen gehörten in verschiedenen Epochen zum Spielbetrieb der Bezirksliga Erfurt und prägten den Fußball in der Region.

Den größten sportlichen Erfolg der DDR-Zeit feierte die BSG Union in der Saison 1988/89. Mit dem Gewinn der Bezirksmeisterschaft gelang der Aufstieg in die DDR-Liga, die zweithöchste Spielklasse des Landes. Das Gastspiel blieb jedoch auf eine Saison beschränkt, sodass der direkte Wiederabstieg folgte.

Nach der deutschen Wiedervereinigung wurde der Verein 1990 in SV Union Mühlhausen umbenannt und in die neu gegründete Landesliga Thüringen eingegliedert. Auch dort konnte die Klasse zunächst nicht gehalten werden.

Im Jahr 1994 erfolgte die Umbenennung in SV 1899 Mühlhausen. 

Damit knüpfte der Verein an die traditionsreiche Geschichte der SpVgg 1899 Mühlhausen an, die 1913 aus der Fusion von Germania Mühlhausen und Teutonia Mühlhausen hervorgegangen war. Der FC Germania Mühlhausen gehörte zu den Gründungsmitgliedern des Deutschen Fußball-Bundes und zählt neben dem SC Erfurt 1895 zu den ältesten Fußballvereinen Thüringens. Aufgrund mehrerer Umstrukturierungen und Namensänderungen bis 1945 lässt sich die Traditionslinie jedoch nicht lückenlos nachweisen.

Ein bedeutender Schritt in der jüngeren Vereinsgeschichte erfolgte 1997, als sich die Fußballabteilung aus dem Gesamtverein ausgliederte und unter dem heutigen Namen FC Union Mühlhausen eigenständig wurde.

Sportlich bewegte sich der Verein in den folgenden Jahren überwiegend zwischen Thüringenliga und Landesklasse. Nach dem Abstieg 2008 gelang bereits zwei Jahre später der Wiederaufstieg in die Thüringenliga, in der der 

FC Union bis zur Saison 2015/16 vertreten war.

Nach sieben Spielzeiten in der Landesklasse Thüringen Staffel 2 krönte die Mannschaft die Saison 2022/23 mit der Meisterschaft und dem erneuten Aufstieg in die Thüringenliga. Nach einer Spielzeit in Thüringens höchster 

Klasse musste das Team jedoch wieder den Gang in die Landesklasse antreten.

Heute spielt der FC Union Mühlhausen in der Landesklasse Thüringen Staffel 2 und steht weiterhin für leidenschaftlichen Fußball, eine engagierte Nachwuchsarbeit und eine starke Verbundenheit mit der Stadt Mühlhausen und ihrer langen Fußballtradition.