První snahy o založení muzea v Jihlavě je možné sledovat již v 80. letech 19. století.

V té době převážně německé obyvatelstvo města si stále více uvědomovalo nástup českého živlu. Tato skutečnost u něj vyvolala potřebu vytvoření kulturní instituce, která by dokumentovala dějiny a život německého jazykového ostrova. Po několika letech úvah a přípravných jednání byl na konci roku 1891 založen Muzejní spolek, který se měl trvale starat o činnost muzejní instituce, ustavené v roce 1892.

K slavnostnímu otevření muzea pro veřejnost došlo 23. 6. 1895, kdy bylo v chlapecké měšťanské škole zpřístupněno několik místností se sbírkami. V následujících desetiletích si jihlavské městské muzeum zachovávalo svůj německý ráz, i když ustanovením vládního komisaře bylo od května 1924 řízeno česko-německým kuratoriem.

Po skončení 2. světové války se muzeum dostává do české správy a je řízeno národním výborem.

V roce 1953 získává statut Krajského vlastivědného ústavu a stěhuje se do dvou nově zrekonstruovaných historických domů č. 57 a 58 na hlavním jihlavském náměstí. V této době je muzeum již zcela profesionalizováno a stává se centrem veškeré muzejní práce v tehdejším Jihlavském kraji.

Po územní reorganizaci v roce 1960 (zrušení jihlavského kraje) je organizace zřizována okresním národním výborem, dostává název Oblastní muzeum Vysočiny, později Muzeum Vysočiny.

V 60. letech 20. století dochází k procesu integrace městských muzeí k muzeím okresním. K Muzeu Vysočiny je postupně připojováno jako pobočka muzeum v Polné (1963), muzeum v Telči (1963), hrad Roštejn (1964) a muzeum v Třešti (1971).

Od roku 2003, v rámci reformy územní samosprávy, je muzeum zřizováno Krajem Vysočina s novým názvem MUZEUM VYSOČINY JIHLAVA.

Z rozhodnutí Krajského úřadu Kraje Vysočina, zřizovatele muzea, byla pobočka Polná oddělena od Muzea Vysočiny Jihlava. Dnem 1.1. 2007 vzniklo samostatné Městské muzeum Polná.