Som 17-åring skrev han på för Helsingborgs IF men man valde att under första året (2010) låna ut honom till moderklubben IFK Värnamo, där han var med om att föra upp dem till Superettan.
Den allsvenska debuten kom 2011 i HIF och det blev 33 allsvenska matcher innan han förra hösten blev utlånad igen. Denna gång var det norska Vålerenga IF som lånade honom och anledningen var att Baffoe behövde få mer speltid, då det bara blev fyra matcher under inledningen av 2013 för honom.
Under vintern kom Baffoe och HIF överens om att säga upp kontraktet och Baffoe skrev på för HBK. Oftast har Baffoe tidigare spelat mittback men i HBK fick han ny position. I de två inledande matcherna mot Örebro och Djurgården var det spel som högerback, innan han fick byta kant och spela vänsterback fram till vändningen.
Därefter blev det mer spel som mittback men också två utvisningar i slutet av matcherna mot Gefle, hemma och Malmö, hemma. Under första året i HBK fick han även spela i U 21-landslaget som via tre matcher på Örjans vall kvalificerade sig för U 21-EM-slutspel 2015. Även om han inte var riktigt ordinarie under våren 2015 blev han uttagen till U 21-slutspelet, där han gjorde stor succé när Sverige blev europamästare.
Efter mästerskapet skrev han på för tyska Eintracht Braunschweig i tyska andraligan. Under andra säsongen i det tyska laget blev det kvalspel mot Wolfsburg men det blev förlust och Baffoe fick inte spela någon av matcherna. På hösten 2017 drabbades han av en korsbandsskada och sommaren därpå gick kontraktet med Braunschweig ut.
Det blev övergång till MTV Duisburg men skada gjorde att han knappt spelade. I stället blev det rehab hos Simon Bakkioui och i mars 2020 skrev han på återigen för HBK. Där han och Andreas Johansson bildat ett stabilt mittbackspar. Första säsongen tog sig laget upp i Allsvenskan och Baffoe blev uttagen till landslagets januariturné. Tyvärr blev det inte av p.g.a. covidpandemin.
Även i Allsvenskan var han och ”Ante” i par men trots att HBK bara släppte in 25 mål på 30 matcher åkte laget ur efter kval. Tillbaka i Superettan 2022 blev han målfarlig och gjorde sju mål, varav fem på straff. Under hösten missade han sista delen p.g.a. skada.
Kom tillbaka en bit in på 2023 och tog en stabil ordinarie plats, missade dock inledningen p.g.a. skada.
Spelade större delen av 2024 men hamnade lite utanför laget i slutet av säsongen. Lämnade laget efter säsongen som klubblös. Skrev i augusti på för Örebro SK.
JOSEPH BAFFOE
Född 7 november 1992.
Från Helsingborgs IF 2014 (i Eintracht Braunschweig 2015-18 och MSV Duisburg 2019), klubblös 2025.
Allsvenska matcher/mål: 107/2.
Kvalmatcher/mål: 2/0.
Superettan-matcher/mål: 46/8.
Årets Kvast 2020
U21-EM-guld 2015. Cupguld med Helsingborgs IF 2011.
Allsvensk i Helsingborgs IF 2011-13 (33/1).
Landskamper: 17 U, 10 J, 4 P.