Freiherr Berchtold von Eschenbach-Oberhofen erhielt 1279 das Recht eine Stadt mit Wall, Graben und einem «festen Haus» – einer Burg – zu errichten. 1470 brannte die Stadt nieder und wurde sogleich wieder aufgebaut. Das Schloss als Sitz der Berner Schultheissen stammt aus dem Jahr 1656.

In habsburgischen Zeiten hausten die Vögte in einem burgartigen Gemäuer und trieben im Amt Inderlappen Steuern ein. Die Stadt war von einem Graben und einer Mauer umgeben, gegen Süden hin bot die Aare Schutz. Brücken führten über den Stadtgraben, Tore sicherten die Eingänge zum Ort. Dies veränderte sich nicht, als ein Brand am 5. Mai 1470 die Häuser bis auf die Grundmauern zerstörte. Einzig das Haus Nr. 42 an der Oberen Gasse soll bis auf das Dach erhalten geblieben sein.

Die Berner halfen, die Stadt schnell wieder aufzurichten. 1572 erwarb der Staat Bern die Klostermühle an der Aare samt Hofstatt und errichtete als Sitz des Schultheissen des Amts Unterseen ein Amtshaus. 1656 liess Schultheiss Hieronymus Stettler das Gebäude voreilig abreissen und seine Obrigkeit musste wohl oder übel ein neues Schloss erstellen.

1803 zog der Maler Franz Niklaus König im Schloss ein. Für viele seiner Darstellungen diente die Stadt und ihr Leben als Motiv. Als Mitbegründer der ersten Unspunnenfeste 1805 und 1808 ging er in die Geschichte ein. 1850 verkaufte der Staat das Schloss an die Parkettfabrik Interlaken, nachdem das Gebäude als Alp- und Forstwirtschaftsschule oder Zündholzfabrik und nicht mehr als Regierungssitz diente.

1855 mussten das baufällige Westtor und ein Teil der Mauer abgerissen werden. An ihrer Stelle entstand 1862 ein Schulhaus. 1903 zerstörte ein Brand die restlichen Häuser an der Westmauer und riss eine Lücke in die geschlossene Stadtanlage, bis die langanhaltende Diskussion um den Westabschluss 2005 ein Ende fand. Die zeitgenössische Architektur des Gebäudes deutet in ihrer Gestaltung die Form der verschwundenen Stadtmauer an.