Édesapja kisbérlő volt. Középiskolai tanulmányait a Debreceni Református Gimnáziumban végezte el. Érettségi után felvételt nyert a debreceni Tisza István Egyetem Jogtudományi Karára, ahol 1939-ben jog- és államtudományok doktora címet szerzett. Joghallgatóként csatlakozott a Werbőczi István Bajtársi Egyesülethez, majd a diákmozgalmak baloldali szárnyához, a Márciusi Fronthoz, 1938-ban pedig tagja lett az illegális kommunista pártnak. Tevékenységéért 1940-ben letartóztatták, majd a társadalmi rend felforgatásának vádjával három évi letöltendő szabadságvesztésre ítélték. A börtönből 1944. március 15-én szabadult. A II. világháború után megbízták a rendőrség országos megszervezésével. 1947 és 1949 között a pártközpont karhatalmi katonai osztályának vezetője lett. A Rajk László ellen indult koncepciós perrel kapcsolatban bírálta a párt által képviselt álláspontot, ezért tisztségéből felmentették. 1950-től a Terményforgalmi Vállalat osztályvezetője, közben 1953-tól a Budapesti Műszaki Egyetem esti tagozatának hallgatója lett. 1955-ben – nézetei miatt – kizárták a Magyar Dolgozók Pártjából (MDP).
1955 végén csatlakozott Nagy Imre köré csoportosult értelmiségiekhez, akik a kommunista párt akkori politikájával sok tekintetben nem értettek egyet. 1956 tavaszán a párt belső problémáit a Petőfi Kör nyilvánossága elé vitték. Szilágyi József is részt vett a rendezvényeken, s tervezte a felszólalását is, azonban arra nem került sor. Október 20-án Kecskeméten egy értelmiségi gyűlésen ismertette a Nagy Imre-csoport tevékenységét, a lengyel eseményekre utalva kifejtette, hogy hasonló úton kell az állami vezetésből eltávolítani a sztálinista elemeket. Október 22-én a Műszaki Egyetemen mondott beszédében szembeállította a magyar helyzetet a poznani munkásfelkelkelés eseményeivel, amit a "harc fontos állomásaként értékelt." Hozzászólásában támogatta a szegedi egyetemisták kezdeményezéseit: a Dolgozó Ifjúság Szövetségének (DISZ) a feloszlatását, a Magyar Egyetemisták és Főiskolások Szövetsége (MEFESZ) megalakítását, illetve más egyetemi, gazdasági, politikai követeléseket. Második felszólalása során az egyetem rektorának mérséklésre intő szavaival szembe szállva, nyíltan a tüntetés mellett foglalt állást. A gyűlésen először hangzottak el szovjetellenes bekiabálások, ami a tömeget a tüntetés irányába befolyásolta. Október 23-ára az egyetemisták felvonulást szerveztek, Szilágyi megkérte Kopácsi Sándort a Budapesti Rendőrfőkapitányság vezetőjét, hogy a rendőrség ne akadályozza meg a diákok megmozdulását. Ő is részt vett a Bem szobornál, a Parlementnél és a Sztálin szobornál lezajlott tüntetéseken, majd bement a főkapitányságra, hogy meggátolja a felkelőkkel szemben a fegyverhasználatot. Október 27-én többedmagával Nagy Imrét abba az irányba igyekezett befolyásolni, hogy függetlenítse magát a Magyar Dolgozók Pártja Központi Vezetőségétől és álljon a felkelők politikai követeléseinek élére. Annak érdekében, hogy Nagy Imrénél elérje a felkelők politikai elképzeléseinek következetes végrehajtását, október 28-ától Széll Jenővel megszervezte a miniszterelnöki titkárságot és elvállalta annak vezetését. Nem ismerte el, hogy az országban ellenforradalom van, hanem a történteket függetlenségi harcnak nevezte. November 4-én Nagy Imrével és társaival együtt családostól a jugoszláv nagykövetségre menekült. November 22-én azzal a garanciával hagyták el a követség épületét, hogy nem esik bántódásuk, de a szovjetek elfogták és a romániai Snagovba hurcolták őket.
1958. április 22-én a vele szemben indított bűntetőper során jogerősen halálra ítélték.
HU ÁBTL 3.1.9. V-150000/85
HU ÁBTL 3.1.9. V-150000/90
HU ÁBTL III. 9.2. – VII. tétel – sz. n. – Elítéltek létszáma
HU MNL OL – XX-5-h – V-150000-003/1958
HU MNL OL – XX-5-h – V-150000/73-003/1958