Das "in einfacher Barockform" gehaltene Museumsgebäude wurde in den Jahren 1904-1906 nach den Entwürfen von Edwin Crones (1874-1917) errichtet. Der in Duisburg geborene Edwin Ludwig Joseph Crones war der Sohn von Joseph Crones und firmierte ab 1900 zumeist gemeinsam mit seinem Vater Josef Crones; sie errichteten vor allem Villen in Köln-Marienburg, die stilistisch der "Zeit um 1800" verpflichtet sind.
Edwin Crones wurde neben dem RJM auch für das Schloß Birlinghoven bei Bonn verpflichtet (1900-1902), daneben auch in Köln z.B. für die Robert-Heuser-Str. 5 (1901/1902) und weitere Wohngebäude gemeinsam mit seinem Vater.
Kurz vor Ende des Zweiten Weltkrieges wurde der hintere Trakt zum Severinswall zerstört und danach nicht wieder in voller Geschoßhöhe aufgebaut; in den Vierziger Jahren erfolgte mit dem Einzug der "Kammerspiele" ein größerer Umbau als Ersatz für das zerstörte Schauspiel- und Opernhaus. Dieses Provisorium blieb bis 1994.
"Das Museumsgebäude ist nach dem Entwurfe des Herrn Architekten Edwin Crones in Cöln massiv aus Stein, Eisen und Beton erbaut, und es sind dabei alle wesentlichen Bedürfnisse eines modernen Museums für Völkerkunde erfüllt worden. Eingeordnet in die Häuserfront des Ubierrings, zeigt es in seiner Anlage die T-Form, so zwar, dass der Querbalken den Vorderbau nach der Strasse zu bildet und er Längsbalken sich als Hinterbau in die Tiefe erstreckt. Für die Entwicklungsmöglichkeit des Museums ist es von hoher Bedeutung, dass hinten beträchtlich angebaut werden kann.
Der Vorderbau besteht aus einem Untergeschoss, einem Hochparterre und zwei Obergeschossen, während der Hinterbau ein Erdgeschoss und zwei Obergeschosse umschließt, von denen die beiden letzteren jedesmal auf halber Treppenhöhe gelegen sind.
Die in hellgelbem Sandstein ausgeführte Fassade ist in einfacher Barockform des 17. Jahrhunderts gehalten und hat in dem zurückspringenden Mittelteil eine Vorhalle mit drei Bogenstellungen.
Am ersten Obergeschoss ist ein reichgegliedertes und vergoldetes Balkongeländer angebracht, und als Schlussteine der Mittelfenster sind die Köpfe von Völkertypen ausgehauen, die einen Neger, eine Japanerin und einen nordamerikanischen Indianer darstellen, zur Repräsentation der drei grössten fremden Weltteile, deren Kulturen im Museum zur Anschauung kommen.
Das Giebelfeld des Mittelteils trägt das Cölner Wappen im Relief.
Durch die Vorhalle gelangt man zum Vestibül und Treppenhaus, das mit Säulenstellungen und steigenden Kreuzgewölben versehen ist. In den Sälen ist auf jedes unnütze architektonische Beiwerk mit Absicht verzichtet worden, um die Sammlungen für sich allein wirken zu lassen, wie es dem Ernste eines wissenschaftlichen Instituts entspricht. Reicher ist nur der Hörsaal ausgestattet, der im zweiten Obergeschoss des Vorderbaues gelegen ist und 140 Personen fassen kann."
(Quelle: Foy, W.: Führer durch das Rautenstrauch-Joest-Museum (Museum für Völkerkunde) der Stadt Cöln, Cöln 1908, S. 5 ff.)
Im zweiten Weltkrieg wurde das Gebäude durch eine Sprengbombe 1941, aber vor allem durch den Volltreffer einer Luftmine am 28. Februar 1945 schwer beschädigt: der gesamte Nordflügel wurde bis zum Erdgeschoß hinab zerstört. Der stark vergrößerte Ausschnitt eines Luftbildes zeigt am unteren Rand den Ubierring. Das Dach auf der gesamten Breite der Rückseite und des rückwärtigen Traktes ist eingestürzt. Der dreieckige Giebel in der Bildmitte ist zur Straßenseite hin stehen geblieben und zeichnet in der Mittagssonne einen scharf geschnittenen dreieckigen Schatten.
Trotz der Schäden fanden nach dem Krieg Ausstellungen statt und manche viel beachtete Aufführungen der "Kammerspiele".
Am 7. Juli 1967 schließlich wurde das Rautenstrauch-Joest-Museum offiziell wieder eröffnet.