Édesapja szatócs és gazdálkodó volt. Érettségit tett, majd 1905-ben elvégezte a Ludovika Akadémiát. 1908-1909-ben felsőtiszti tanfolyamot végzett, majd 1912-ig a bécsi hadiiskola hallgatója volt. Az első világháborúban vezérkari tisztként teljesített szolgálatot, különböző német alakulatoknál megfigyelőként volt jelen a nyugati fronton. A háború után a székely hadosztálynál teljesített szolgálatot. 1919 áprilisában román fogságba esett, innen 1920. november 1-jén szabadult. A Nemzeti Hadseregnél jelentkezett szolgálatra. 1931-ben kinevezték a Ludovika Akadémia parancsnokának. 1938 májusában kinevezték Horthy Miklós katonai irodája főnökének, ezzel együtt a kormányzó katonai tanácsadója is volt. 1939. február 1-jén megbízták a budapesti 1. hadtest parancsnokságával. 1940 nyarán a kormányzó megbízta a magyar királyi 2. honvéd hadsereg felállításával és vezetésével. 1942. május 13-án a 2. hadsereggel a keleti frontra vezényelték. A szovjet áttörés után, 1943. május 1-jén visszatért Budapestre, november 1-jei hatállyal vezérezredesként nyugdíjazták. A front elől feleségével Ausztriába, majd Bajorországba ment. 1945. május 1-jén amerikai hadifogságba esett. 1946 nyarán önként visszatért Magyarországra.
A több mint 200 000 főből álló magyar királyi 2. honvéd hadsereg parancsnokaként 1942 májusában egységével a keleti frontra vezényelték. A hadseregben jelentkező hiányosságokat jelentette a honvédelmi miniszternek és a vezérkar főnökének, a hiányok pótlására ígéretet kapott. A kiképzés pótlására a felvonulási területen azonban már nem került sor. Az 1943. január 12-én meginduló szovjet támadás áttörte a magyar védelmi vonalat. Jány – ragaszkodva a német parancsnokság utasításához – elrendelte a végsőkig való kitartást. A hadsereg felbomlott, a visszavonulásra vonatkozó német parancs pedig csak január 24-én érkezett meg. Magyarországra végül kb. 85 000 fő tért vissza, a hadsereg vesztesége így kb. 120 000 főt tett ki.
1947. október 4-én a vele szemben indított büntetőper során jogerősen halálra ítélték.