Rutten maakte als jeugdspeler van FC VVV deel uit van Jong Oranje onder 19, een lichting met spelers als Ruud Gullit, Ronald Koeman, Gerald Vanenburg en Wim Kieft. Onder trainer Sef Vergoossen debuteerde de talentvolle verdediger als 18-jarige in het eerste elftal van de toenmalige eerstedivisionist, tijdens een uitwedstrijd bij FC Wageningen (0-0) op 29 augustus 1981. De Arcenaar ontwikkelde zich al snel tot een vaste waarde bij de Venlose club, die als hoofdtaak had het uitschakelen van zijn directe tegenstander. Daarbij was hij meedogenloos en hard, ook voor zichzelf. Rutten stond 13 jaar onder contract bij VVV en moest in 1994 noodgedwongen stoppen met betaald voetbal vanwege een achillespeesblessure die mede het gevolg was van zijn onverschrokken, tomeloze speelwijze.
Na zijn spelersloopbaan ging Rutten als trainer aan de slag bij diverse amateurclubs in de regio Noord-Limburg. In 2016 was hij na het overlijden van zijn oud-ploeggenoot John Taihuttu nog even interim-coach bij SV Blerick. Rutten is werkzaam als directeur van een basisschool in zijn woonplaats Venlo en scout voor VVV.[1] In februari 2024 trad Jos Rutten toe tot de nieuw gevormde Raad van commissarissen van VVV-Venlo, waar hij de portefeuille voetbalzaken kreeg toebedeeld.[2]
Nederland
