Seine ersten politischen Aktivitäten machte er mit bereits 21 Jahren, indem er sich 1964 in der Lokalverwaltung als Kandidat der Konservativen aufstellten ließ. 1968 wurde er dann gewählt, was insofern überraschend war, da Brixton eine traditionell große Wählerschaft der Labour Party beheimatet. Jedoch verlor er 1971 seinen Sitz wieder.
1974 kandidierte er dann für den Platz des Unterhausabgeordeten im Londoner Wahlkreis St. Pancras wurde jedoch von seinem Konkurrenten aus der Labour Partei geschlagen. 1979 wurde er Abgeordneter des Wahlkreises Hutingdon im Unterhaus, daraufhin machet seine politische Karriere große Fortschritte. 1985 wurde er zum Unterstaatssekretär im Ministerium für Sozialversicherungen, kurz darauf zum Minister. 1986 ernannte man ihm zum Vieze-Finanzminister und letztendlich 1989 zum Außenminister Großbritanniens. Nachdem die Vorsitzende der Konservativen Margaret Thatcher, welche ebenfalls Premierministerin war, zurücktrat, nahm er deren Stelle ein und wurde schließlich am 28. November 1990 zum Premierminister von Großbritannien.
Während seiner Amtsperiode erlitt Großbritannien eine wirtschaftliche Rezession. Außerdem beteiligte sich Major besonders mit dem zweiten Golfkrieg, indem er versuchte Kuwait von Irakischen Truppen zu befreien (Januar bis Februar 1991). In diesen Zeitraum fällt auch ein Angriff auf die Regierung durch das IRA. Die meisten Zeitungen gingen davon aus dass die Konservativen durch in den Wahlen im April 1992 gegen die Labour Party verlieren würde. Sie gewannen jedoch mit eine geringe Mehrheit.
Wegen vermehrter Kritik an seinem Amt fürchtete John Major, dass er als Parteivorsitzender abgewählt werden würde und er trat zurück um sich erfolgreich neu wählen zu lassen. Letztendlich musste er nach den Wahlen im Jahre 1997 das Amt des Premierministers nach einer verehrenden Niederlage gegenüber der Labour Party an Tony Blair übergeben.