Hann vakti fyrst athygli fyrir túlkun sína á lögreglustjóranum Buford Pusser í kvikmyndinni Walking Tall frá árinu 1973, en áður hafði hann farið með hlutverk bróður persónu Steve McQueen í Junior Bonner.
Í frétt Hollywood Reporter segir að Baker hafi fyrst birst í Bond-mynd í The Living Daylights frá árinu 1987 þar sem hann fór með hlutverk skúrksins og vopnasalans Brad Whitaker. Timothy Dalton fór þar með hlutverk James Bond.
Baker birtist svo aftur í bæði GoldenEye og Tomorrow Never Dies, en þá sem Jack Wade, njósnara bandarísku leyniþjónustunnar CIA, þegar Pierce Brosnan fór með hlutverk Bond.
Á ferli sínum fór Baker einnig með hlutverk í kvikmyndum á borð við Cool Hand Luke (1967), Guns of the Magnificent Seven (1969), The Natural (1984), Leonard Part 6 (1987), Cape Fear (1991), Reality Bites (1994), The Grass Harp (1995), Mars Attacks! (1996), Joe Dirt (2001), The Dukes of Hazzard (2005) og Mud (2012).
