Josephus Johannes Gielen werd geboren in Rucphen (N.Br.). Hij volgde de RK kweekschool in Bergen op Zoom en Breda en de RK Leergangen te Tilburg en studeerde Germaanse Philologie aan de Universiteit van Gent, waar hij in 1931 promoveerde. Hij was onderwijzer aan de RK lagere school te Sint Willibrord, leraar Nederlands en Geschiedenis, schooldirecteur, inspecteur en hoofdinspecteur van het lager onderwijs. Hij was minister van Onderwijs, Kunsten en Wetenschappen van 1946 tot 1948 in het eerst kabinet Beel. Tot 1949 was hij Tweede kamerlid voor de KVP en van 1956-1966 was hij lid van de Eerste kamer. Daarnaast was hij van 1949 tot 1968 hoogleraar praktische pedagogiek aan de Katholieke Universiteit Nijmegen.