Il Castello fu costruito 1290-1310 da un nobile che in seguito divenne il cortigiano e amico dell'imperatore Carlo IV (1316-1378). Durante la guerra dei trent'anni, imperatore Ferdinando II ha dato il Castello a uno dei suoi generali, Don Balthazar de Marradas, che, nel 1628, vendette a Don Martin de Hoeff Huerta che hanno acquistato per la sua bella figlia Anne-Marie della Moldavia adottiva.

Nel 1790, la famiglia Desfours, che all'epoca possedeva anche il castello, costruito una fabbrica di fabbricazione della carta a Velhartice che, durante la seconda guerra mondiale, ha fatto sacchi a pelo per l'esercito tedesco. Una fabbrica di cuoio-concia aperto nel 1882 e durante la seconda guerra mondiale fornito in pelle per gli scarponi militari fatti nella cittأ  confinanti. Nel 1945, diverse unitأ  corazzate della terza armata di George S. Patton stazionavano in Velhartice. L'ultimo proprietario del castello di Velhartice, principe Windisch-Graetz, fu espulso in Austria nel 1946. Attualmente la Castello أ¨ sostenuto dalla Repubblica Ceca.

Risorse archivistiche della cittأ  Velhartice si trovano nell'archivio regionale in Klatovy (SOkA Klatovy) compreso il registro cittأ  piأ¹ antico, risalente alla fine del XIV secolo e privilegi emessi tra gli altri da Don Martin de Hoeff-Huerta e sua figlia.