Początkowo stał tu vimperski zamek założony ok. połowy XIII w. jako twierdza strzegąca Złotej Ścieżki z Bawarii do Czech. Zamek należał do wielu rodów szlacheckich Janoviców, Kaplířów ze Sulevic, Malovców z Chýnova, aż przejął go Jáchym z Hradce. Vimperk kupili od niego Rožmberkowie, którzy przebudowali surową gotycką twierdzę na renesansowy zamek, w którym chronili się w czasie epidemii. Ważnym etapem był okres Novohradských z Kolovratów na początku XVII w., po których na zamku zostały malowane podciągi. Po Novohradskich posiadłość vimperska należała do Eggenberków, a po wymarciu tego rodu do Schwarzenbergów, którzy byli właścicielami zamku aż do 1947 r. Ostatnia rozległa przebudowa została przeprowadzone w 1857 r., kiedy po uderzeniu błyskawicy zamek strawił pożar. W 1948 r. zamek stał się własnością miasta, a w 1991 r. kupiło go Ministerstwo Środowiska Naturalnego. W 2001 r. zamek ogłoszono narodowym zabytkiem kultury, a od 2015 r. administruje nim Narodowy Instytut Zabytków.
Ciekawostka:
W chwili obecnej na Górnym Zamku ma miejsce rozległy remont w ramach projektu „Budzenie zimowego zamku“. Po jego zakończeniu na zwiedzających będzie czekać poszerzona i zmodernizowana ekspozycja Muzeum Viperska, nowe trasy z oryginalnym wyposażeniem, które przypomną rozwój architektoniczny i codzienne życie na zamku na przełomie XVI i XVII w., a także Centrum Informacji.