Seligenstadt besitzt eine lange Siedlungsgeschichte. Nach der Aufgabe des römischen Kastells Seligenstadt ist noch eine alamannische Besiedlung durch archäologische Funde greifbar, wobei nicht gesagt werden kann, ob eine Siedlungskontinuität bis in das Mittelalter bestand. Der Ort wird erstmals 815 als Obermühlheim (Mulinheim-superior) in einer Schenkungsurkunde Ludwigs des Frommen an Einhard erwähnt. Dieser ließ hier als Ersatz für das Kloster in Steinbach eine Basilika errichten.

Der Gründungszeitpunkt der Kaiserpfalz in Seligenstadt ist unsicher. Aus dem Jahr 1188 ist eine Urkunde Kaiser Friedrich Barbarossas bekannt, die er anlässlich eines Hoftages in Seligenstadt ausfertigte. Das ist aber kein Beleg für eine Königspfalz. Der Hoftag kann auch in der nahe gelegenen Abtei Seligenstadt stattgefunden haben. Gesichert ist die Pfalzanlage erst in der Mitte des 13. Jahrhunderts unter Kaiser Friedrich II. Sie liegt direkt am Mainufer an der alten Mainstraße, möglicherweise an Stelle älterer Gebäude oder eines Dominialhofes, war per Schiff von Frankfurt oder Mainz aus bequem zu erreichen und ermöglichte die Jagd im kaiserlichen Bannforst des Vorderen Spessart. Im 13. Jahrhundert wird die Pfalz als castrum erwähnt, aus dem 14. Jahrhundert liegen Nennungen des Gebäudes als keysirhaus oder rotes Schloß vor.

Für eine Errichtung zwischen 1181 und 1188 durch Barbarossa wird eine Ähnlichkeit der erhaltenen Säulen der nördlichen Fenstergruppe mit dem 1186 – 87 erbauten Romanischen Haus in Seligenstadt, dem zwischen 1170 und 1180 errichteten Maulbronner Krankenhausgang, dem bis ca. 1170 erbauten Landgrafenhaus auf der Wartburg und dem 1175 errichteten Hôpital Saint-Jean in Angers angeführt. Der Ursprungsbau könnte nach einem Brand anschließend mit geringfügigen Veränderungen wieder aufgebaut worden sein, da sich am inneren Mauerwerk und an Säulen, die im Lapidarium des Prälatur-Museums Seligenstadt aufbewahrt werden, Brandspuren ablesen lassen; einige Fenster könnten dabei unter den originalen Überfangbögen erneuert und die beiden erhaltenen Portale eingefügt worden sein, deren Steinmetzarbeiten in die Zeit um 1210 – 1220 weisen.

1460 wurde die Pfalz (erneut) durch einen Brand zerstört, die Ruine des Palas bereits 1462 aufgrund der Mainzer Stiftsfehde in die Mainfront der Stadtmauer einbezogen. Weitere Zerstörungen folgten im Dreißigjährigen Krieg. Das Areal, das die Pfalz ursprünglich einnahm, wurde nachfolgend teilweise überbaut. Deshalb lässt sich heute über den ursprünglichen Gebäudebestand der Anlage nur wenig sagen. Eine eigenständige Befestigung der Pfalz war anscheinend nicht vorhanden.

Das Romanische Haus („domus lapidea“, auch Steinernes Haus genannt) ist das älteste weltliche Gebäude der Stadt Seligenstadt im heutigen Landkreis Offenbach in Hessen. Es wurde von 1186 bis 1187 als Wohnhaus im Stil der Romanik erbaut. Es ist anzunehmen, dass das Gebäude als Vogtei, also als Amtshaus eines Vogtes des Kaisers Friedrich Barbarossa diente.

Nach erfolgreicher Sanierung durch die Stadt im Jahr 1986 erhielt das Romanische Haus den Denkmalschutzpreis des Landes Hessen.