Josef Johann von Littrow se narodil 13. března 1781 v Horšovském Týně. Jeho předkové pocházeli z Livonska v Pobaltí, odkud se v 17. století přestěhovali k 
příbuzným do Horšovského Týna. Otec Anton Littrow byl kupcem. Do školy začal mladý Littrow chodit v Horšovském Týně. V roce 1799 začal studovat na Karlově univerzitě práva a teologii. Po roce vydával se svými spolužáky časopis Propylaje (Die Propyläen ). V roce 1803 však studium přerušil a už nedokončil. Nastoupil jako domácí učitel do Slezska k hraběti Renardovi. S ním odešel do Vídně. Začal studovat matematiku a astronomii. Přestože byl samouk, dosáhl takových znalostí, že mohl být v listopadu roku 1807 jmenován profesorem astronomie na Jagellonské univerzitě v Krakově. Tak započala jeho vědecká a pedagogická činnost. Začátkem roku 1810 odjel do ruské Kazaně, kde založil hvězdárnu a stal se jejím prvním ředitelem. Stejnou funkci potom vykonával v uherském Budíně, kam nastoupil v roce 1816. Konečně v roce 1819 byl jmenován profesorem astronomie na Vídeňské univerzitě a převzal řízení univerzitní hvězdárny. Zcela reorganizoval její provoz, dal postavit novou hvězdárenskou věž a vybavil ji novými vědeckými přístroji. Na tomto poli úzce spolupracoval s mechanikem a optikem Simonem Plöslem. Spolu sestrojili dialytický dalekohled. Littrow byl výraznou autoritou jako vědec a pedagog. Vydal řadu odborných publikací, např. Theoretische und praktische Astronomie (1821), Über Sterngruppen und Nebelmassen des Himmels (1835), Atlas des gestirnten Himmels (Stuttgart 1838). Byl také výborným popularizátorem vědy. Psal populárně vědecké stati do časopisu Wiener Zeitschrift für Kunst und Literatur. Mnoha vydání se dočkala jeho práce, určená pro širokou veřejnost Die Wunder des Himmels (1834). V roce 1836 byl rakouským císařem Františkem I. povýšen do šlechtického stavu. Littrow byl ženatý s dcerou Franze Ulricha von Ulrichstahl. Měli spolu dvanáct dětí. Z nich se proslavil Karl Ludwig von Littrow, významný rakouský astronom. Druhý syn Heinrich von Littrow byl významným kartografem. Josef Johann von Littrow zemřel ve Vídni 30. listopadu 1840. Jeho jménem byl pojmenován kráter na Měsíci, který proslavili astronauti z kosmické lodi Apollo 17, kteří přesně na tomto místě na měsíčním povrchu přistáli.