Bereits seit jungen Jahren ist Ernst Holzmann bekennender und großer Freddy Quinn Fan. Nicht nur aus diesem Grunde besuchte er zweimal die Hansestadt Hamburg, wo er versuchte, auf einem Schiff anzuheuern.

Zurück in Tirol gründete er 1975 seine eigene Firma und arbeitete fortan als selbständiger Holzfäller.1986 heiratet er seine Frau Renate, mit der er gemeinsam 2 Kinder hat.

2003 übergibt er die Firma seinem Sohn Peter, um sich unter anderem auch mehr Zeit für sein größtes Hobby, dem Singen zu nehmen.