Wijffels studeerde economie aan de Katholieke Hogeschool Tilburg, waar hij lid was van het Tilburgs Studenten Corps. Na zijn studie werkte hij bij het Ministerie van Landbouw en Visserij en bij het Nederlands Christelijk Werkgeversverbond waar hij algemeen secretaris was. Vanaf 1981 werkte Wijffels bij Rabobank Nederland; vanaf 1986 tot 1999 als voorzitter van de Hoofddirectie. De Rabobank stelde bij zijn afscheid een naar hem genoemde prijs in, de Herman Wijffels Innovatieprijs.

Na zijn vertrek bij de Rabobank werd Wijffels benoemd tot voorzitter van de Sociaal-Economische Raad (SER). Ook was hij voorzitter van de Vereniging Natuurmonumenten en van het Stichtingsbestuur van de Universiteit van Tilburg, en vervulde hij enkele commissariaten bij bedrijven en enkele lidmaatschappen van Raden van Toezicht. Wijffels was lid van het Innovatieplatform, en op verzoek van de Vereniging Fondsenwervende Instellingen gaf hij mede gestalte aan een naar hem vernoemde code voor goed bestuur voor goede doelen, die is gepubliceerd in juni 2005.

Na zijn voorzitterschap van de SER werd bij in 2006 benoemd tot bewindvoerder bij de Wereldbank. Hij verliet per 1 november 2008 de Wereldbank en is sinds april 2009 samen met Sylvia Borren co-voorzitter van Worldconnectors, een Nederlandse denktank die zich inzet voor een duurzame, vreedzame en rechtvaardige wereld. Hij nam het voorzitterstokje over van Ruud Lubbers, die sinds 2006 co-voorzitter van de ronde tafel was. Daarnaast is hij sinds 1 juni 2009 als deeltijd-hoogleraar ‘duurzaamheid en maatschappelijke verandering’ verbonden aan de Universiteit Utrecht. Wijffels wordt door sommigen “de beste premier die Nederland nooit had” genoemd.