Nazwa miejscowości prawdopodobnie wywodzi się od wyglądu wzniesienia, na którym ją ulokowano – góra była porośnięta ciemnym, świerkowym lasem, który pierwsi osadnicy wycięli. Najprawdopodobniej centrum osadniczym był przysiółek Sołtystwo, zlokalizowany na przełęczy. Pierwszymi sołtysami byli prawdopodobnie przedstawiciele rodziny Czarnogurskich, którzy wyemigrowali do wsi Frankova.

Pod koniec XV wieku przybyły tutaj grupy Wołochów, które uchodziły przed nawałą turecką z południowej Europy. Według relacji ludności były to rodziny przybyłe z Czarnogóry, które osiedliły się w części wsi zwanej obecnie Sołtystwem. W późniejszym okresie na terenie wsi, głównie w południowej części, zaczęli licznie osiedlać się przybysze z sąsiedniego Podhala. Pieczę nad nimi sprawowali panowie nowotarscy i czorsztyńscy, słynący z ostrego traktowania swoich poddanych. Sprawiło to, iż z biegiem lat Czarna Góra stała się typowo polską wsią. Jej mieszkańcy trudnili się wyrębem lasów, myślistwem i pasterstwem.

Pierwsze udokumentowane wzmianki o miejscowości pochodzą z końca XVI wieku, a dokładniej z dokumentów z lat 1589, 1594 i 1595. Pierwszy z tych dokumentów stwierdza nabycie szeregu ziem klucza dunajeckiego przez rodzinę Horwathów – Palocsayów, a kolejne dwa dokumenty to potwierdzają. W dokumentach tych Czarna Góra jest wymieniona wśród szałasów i owczarni pod węgierską nazwą Czerna Hora. Z 1637 roku pochodzą zapiski kronikarzy, którzy wspominają pasterzy z Czarnej Góry wypasających swoje stada w Tatrach pod Jaworowym Stawem i w Tatrach Bielskich.

Wprawdzie pierwsza wzmianka o Czarnej Górze pochodzi z dokumentu Kapituły Spiskiej z końca XVI wieku, ale jest ona wymieniona tylko wśród „szałasów i owczarń”. Wieś rozwinęła się prawdopodobnie z osiedla pasterskiego, lecz o jej początkach nic nie wiadomo. Musiała istnieć już na początku XVII wieku, gdyż Michał Hrosieński w „Opisaniu ciekawym gór Tatrów” (1650) wymienia należące do Czarnej Góry hale w Tatrach Bielskich. Już pierwszy rzut oka na wieś wskazuje, że znajdujemy się w innym regionie Podtatrza. Szczególnie uderzające są różnice w budownictwie. Zagrody stawiane w czworobok zamknięte są szczytową ścianą budynku mieszkalnego i wysoką bramą. Domy, niejednokrotnie murowane, posiadają bogate zdobienia zwieńczeń ścian szczytowych.

Lokowanie wsi odbyło się prawdopodobnie na początku XVII wieku na prawie wołoskim, jednak niestety nie zachował się żaden dokument potwierdzający ten fakt. Pierwszym właścicielem wsi była rodzina Horvathów – Palocsayów, która była właścicielem wsi do 1670 roku. Również w 1670 roku wieś zmieniła właściciela na rodzinę włoskiego pochodzenia Joanellich de Toulano, w której posiadaniu pozostawała do 1771 roku, kiedy to ponownie znalazła się w rękach rodziny Horwathów – Palocsayów. Pozostała w ich posiadaniu do 1848 roku i przekształceń ustrojowych**, które** zaszły na Węgrzech, to jest uwłaszczenia chłopów, zniesienia poddaństwa oraz ogłoszenia równości wobec prawa. Dzięki osiedlaniu się nowych osadników wieś powoli się rozrastała – w 1772 roku liczyła 64 gospodarstwa, w 1831 – 77 gospodarstw, a w 1867 – 89 gospodarstw. Ważnym zajęciem mieszkańców było pasterstwo, gdyż gleba i położenie mało sprzyjały uprawom rolniczym.

W niektórych miejscach zachował się jeszcze pasterski charakter wsi, widoczny w jej zabudowie, układzie pól oraz pozostałościach pasterskiej gospodarki rolnej.

W 1850 roku powstała pierwsza szkoła. Początkowo językiem nauczania był słowacki, a później również przez pewien czas węgierski. Okres ten, od około połowy XIX wieku do początku XX wieku, był czasem, gdy sprawy narodowościowe zaczęły mieć istotne znaczenie. Ruchy narodowe Słowaków zaczęły prowadzić silną akcję słowakizacyjną terenów Spisza zamieszkałych przez ludność polską. Doprowadziło to między innymi do sytuacji, w której od 1880 roku w przeprowadzanych spisach ludnościowych mieszkańcy Spisza nie mogli wybrać narodowości polskiej. Od 1895 roku zaczęły się działania Polaków z Galicji w celu obrony świadomości narodowej Polaków ze Spisza. Efektem tego było powstanie między innymi polskich bibliotek. Jedna z nich powstała również w Czarnej Górze.

Po I wojnie światowej tereny Spisza stały się przedmiotem ostrego sporu między Polską a Czechosłowacją. W tym okresie, na przełomie lat 1918 i 1919, Czarna Góra po raz pierwszy w historii znalazła się w granicach państwa polskiego, aczkolwiek stało się to jedynie na okres około 10 tygodni, po którym władzę nad wioską objęła Czechosłowacja. Państwa Ententy, które zwycięsko wyszły z wojny, podjęły decyzję, że na terenie części Spisza, która obejmowała również Czarną Górę, odbędzie się plebiscyt, który zadecyduje o przynależności spornych terenów do danego państwa. Zaczęła się walka między państwami o przeciągnięcie mieszkańców na swoją stronę. Ostatecznie plebiscyt został odwołany, a Czarna Góra na stałe została przyłączona do Polski 28 lipca 1920 roku decyzją Rady Ambasadorów, podjętą w Spa.

W 1939 roku, w pierwszych dniach kampanii wrześniowej, tereny polskiego Spisza zostały zajęte przez Słowację, która była sprzymierzona z Niemcami. Przez całą II wojnę światową Czarna Góra pozostawała w granicach Słowacji, dzięki czemu warunki bytowe były znacznie lepsze niż po drugiej stronie rzeki Białki, gdzie tereny były objęte przez Generalne Gubernatorstwo. Po zakończeniu wojny Czarna Góra wróciła do Polski.

W latach 1954–1972 wieś należała do gromady Czarna Góra i była siedzibą jej władz. W latach 1975–1998 miejscowość administracyjnie należała do województwa nowosądeckiego.