Ende des 14. Jahrhunderts erwarb die Zunft der Wechsler das Anwesen "zem grawen Beren". Ihre Gemeinschaft wurde auch "Hausgenossen" genannt, weil sie dem bischöflichen Münzmeister direkt unterstellt war und somit zur Hofhaltung des Bischofs gezählt wurde. Vom Hausnamen abgeleitet, erhielt die Zunft auch den Übernamen "Bärenzunft". Im 16. Jahrhundert erfolgten mehrere grössere Umbauten; 1584 datierte eine Jahreszahl über den Fenstern des ersten Obergeschosses einen Umbau des Hinterhauses. 1757 wurden drei neue Eingänge Eingänge von der Strasse aus angelegt. Eine Inschrifttafel im Vorgesetztenzimmer kündet von einer unter der Leitung Johann Jakob Fechters ausgeführten Renovierung der Zunftstuben sowie der Treppe in den Jahren 1767-1770. Die Stuckaturen führte Johann Martin Frohwies aus.
Als die Korrektion der Freien Strasse bevorstand, bat der Zunftvorstand 1893 mehrere Basler Architekten um Entwürfe für eine neues Zunfthaus. Der Neubau sollte möglichst im Stil des alten Gebäudes und unter Wiederverwendung alter Bauteile verwirklicht werden. Zur Ausführung kamen 1894 die Pläne Leonhard Friedrichs. 1895 erhielt die Fassade eine monumentale Sgraffito-Dekoration durch Hans Sandreuter. 1929 wurde die Vorgesetztenstube, 1937 der grosse Zunftsaal in neubarocken Formen ausgestattet und überarbeitet. 1934 zerstörte ein Ladeneinbau die unteren beiden Geschosse der Fassade; der Zunftsaal erhielt zur gleichen Zeit einen breiten Balkon vor seinen Strassenfenstern. 1960 wurde die Schaufensteranlage wiederum erneuert. Seit 1997 und 2004 ist das Hintergebäude mit den Nachbarhäusern Nr. 32 und Falknerstrasse 11 verbunden. 2006 wurde die untere Fassadenpartie in Anlehnung an die ursprünglichen Baupläne umgebaut.
Hans Sandreuter wählte für sein in Grisaille-Tönen gehaltenes Fassadensgraffito eine historisch-allegorische Thematik. Zwischen und neben den Fenstern sind vier monumentale Standfiguren wiedergegeben: links die Allegorie des irdischen Ruhms ("fama"), gekennzeichnet durch Flügel und einen Palmenzweig, dann die Stadtpersonifikation "Basilea" mit Panzerhemd, Mantel und stadtmauerartiger Krone, in der Rechten ein Schwert haltend und mit der Linken auf einen spitzen Schild mit dem Baselstab gestützt. Auf sie folgt eine namenlose Frauengestalt im leichten Mousselinekleid mit Spinnrocken und Schild, auf welchem eine Krone als Emblem der Hausgenossenzunft prangt. Die Figur verweist auf eine Anekdote, derzufolge die Frau 1501 anstelle der Torwache vor dem Aeschentor platziert wurde, um den Eidgenossen vor Augen zu führen, wie sicher sich Basel seit dem Beitritt zu ihrem Bündnis fühlte. Rechts beschliesst ein wehrhafter Schweizer in der Tracht des 16. Jahrhunderts die Figurenreihe. Zwischen den Figuren spielen drei Bären mit einer Blattgirlande. Die Fensterlünetten geben drei Frauenbildnisse in von verschiedenartigem Blätterwerk umgebenen Medaillons wieder. Die Voute des Dachgesimses ist seit den 1930er Jahren mit einem geometrischen Gittermuster bemalt.