Carlos Jiménez Villarejo se licenció en Derecho por la Universidad de Granada y accedió por oposición a la carrera Fiscal en 1962, siendo destinado a la Fiscalía de Barcelona.  

Sus profundas convicciones democráticas le llevaron en plena dictadura franquista a militar en el PSUC en la clandestinidad. En 1973 fue expedientado y trasladado forzoso a Huesca por defender los derechos humanos. En esa época fue también, junto con los pocos jueces y fiscales comprometidos entonces con el estado de derecho, fundador de la organización entonces igualmente clandestina Justicia Democrática. 

En 1987 fue nombrado Fiscal Jefe de Cataluña, desde donde propuso, ya en los años 90, una nueva querella criminal contra seis Consellers y ex Consellers del Govern de Cataluña por el fraude en la adjudicación de avales para la reconversión industrial a través de la CARIC que produjo un enorme perjuicio económico a la Generalitat.  

En 1995, Carlos fue nombrado Fiscal Anticorrupción, cargo entonces de nueva creación, y bajo su dirección se tramitaron los primeros grandes casos de delincuencia económica, contra Mario Conde, Javier de la Rosa, Jesús Gil, Luis Roldán, etc. Como jurista ha aportado sus conocimientos legales especializados para ayudar a difundir una conciencia contra los paraísos fiscales, el fraude fiscal y el lavado de dinero. 

Defensor a ultranza de la independencia judicial, Carlos Jiménez Villarejo ha denunciado públicamente la trama de intereses creados que afecta a los Magistrados y Fiscales de los más altos tribunales de nuestro país y compromete peligrosamente su independencia y dedicación profesional, puesto que dedican buena parte de su tiempo a impartir conferencias y realizar publicaciones a cambio de grandes compensaciones económicas por cuenta de algunos de los despachos de abogados más importantes de España, cuyos pleitos pasan a resolver después sin abstenerse ni ser recusados, o por cuenta de asociaciones o fundaciones de dudosa credibilidad y prestigio. 

Tras su jubilación, libre de la obligación de reserva de opiniones políticas que le imponía el ocupar un alto cargo como fiscal, acrecienta su actividad pública civil, manifestando su pensamiento jurídico ante diversos temas políticos, participando activamente en diversas organizaciones cívicas de carácter público y privado. 

Ha recibido el Premio Justicia de Cataluña en 2006 y la Gran Creu de Sant Jordi en 2010.