The Castle dibangun 1290-1310 oleh seorang bangsawan yang kemudian menjadi bangsawan dan teman dekat dari Kaisar Charles IV (1316-1378). Selama Perang tiga puluh tahun, Kaisar Ferdinand II memberikan Castle untuk salah satu jenderalnya, Don Balthazar de Marradas yang, pada tahun 1628, dijual ke Don Martin de Hoeff Huerta yang membelinya untuk nya indah mengadopsi Putri Anne-Marie Moldavia.

Dalam 1790s, keluarga Desfours, yang pada saat juga memiliki benteng, dibangun sebuah pabrik pembuatan kertas di Velhartice yang, selama Perang Dunia II, kantong tidur untuk Angkatan Darat Jerman. Pabrik penyamakan kulit dibuka pada tahun 1882 dan selama Perang Dunia kedua disediakan kulit untuk bot militer yang dibuat di kota tetangga. Pada tahun 1945, beberapa unit lapis baja ketiga Angkatan Darat George S. Patton ditempatkan di Velhartice. Pemilik kastil Velhartice, Pangeran Windisch-Graetz, yang terakhir dikeluarkan untuk Austria pada tahun 1946. Saat ini Castle ini diklaim oleh Republik Ceko.

Arsip sumber daya kota Velhartice terletak di Arsip regional di Klatovy (SOkA Klatovy) termasuk daftar kota tertua yang dating ke akhir abad ke-14 dan hak-hak yang dikeluarkan antara lain oleh Don Martin de Hoeff-Huerta dan putrinya.