Am 25. Januar 1897 kauften der Sattlermeister Martin Herz und seine Frau Agnes das alte Anwesen in Hindelang. Damals floss noch ein offenes Bächlein auf der Nordseite des Hauses vorbei.

Im Jahr 1900 wurde dieses Anwesen vollständig abgebrochen. Im gleichen Jahr wurde mit dem Bau des heutigen Hauses begonnen, das 1902 fertig gestellt wurde. Die „Fremdenvermietung“ begann mit der Fertigstellung des Hauses.

Im Jahr 1932 erfolgte durch Luis Herz (jüngstes Kind der 11 Kinder von Martin und Agnes Herz) ein großer Umbau mit Modernisierung der Gästezimmer (Errichtung der geschlossenen Südbalkone) und Umbau zum ersten Sportgeschäft im Ostrachtal.

Im April 1967 erfolgte ebenfalls durch Luis Herz Senior der Umbau der Ladenfront in das heutige Aussehen. Bei der Vergrößerung des Ladengeschäftes verschwand auch die Tenne, die früher für die Landwirtschaft benutzt wurde. Sie wurde ein Teil des Ladens.

Die Geschäftsübergabe an Tochter Agnes (genannt Medy) erfolgte im Jahr 1973. Nach dem Tod des Vaters in 1976 und der Mutter in 1977 wurde Medy Herz Geschäftsführerin.

Im Jahr 1990 nahm Medy Herz eine Grundschuld von 150.000 DM auf (für 15% Jahreszinsen!) und baute die Einzelzimmer im Haus Agnes in sechs Ferienwohnungen um.

Mit dem Tod von Medy Herz am 3. November 2008 übernahm eine Erbengemeinschaft bestehend aus den beiden Brüdern Luis und Hans Herz das Haus Agnes. Nach dem Tod von Hans Herz im März 2009 übernahmen den Anteil von Hans Herz seine Frau Anita und ihre beiden Kinder Monika und Markus Herz

2013 Erwerb des Hauses von Mario und Kathrin Wegmann. Umbau des Ladengeschäfts in eine Ferienwohnung. Umbau und Renovierung der bestehenden Ferienwohnungen. Weitere Umbaumaßnahmen im Erdgeschoß und Keller Neueröffnung von Familie Wegmann unter dem Namen Alpstein Appartements.

15. August 1909

„Ich weiß nicht was ich sagen soll. Es ist das Herz mir so übervoll. Der Trennungsschmerz er wühlt schon seit Tagen. Mit Ungetüm durch Leib und Magen. Drum lasst Euch sagen kurz und klar. Auf Wiedersehen im nächsten Jahr“

Aus dem Jahr 1906

„Was vergangen, kehrt nicht wieder. Ging es aber leuchtend nieder. Leuchtet’s lange noch zurück.“