Gadson tocou com a primeira formação da Watts 103th Street Rhythm Band de Charles Wright e gravou três álbuns com eles entre 1968 e 1970. Junto com outros membros da banda, ele apareceu em vários discos de outros artistas, incluindo Dyke & the Blazers. Gadson começou a se tornar conhecido como baterista após o lançamento do álbum Still Bill, de Bill Withers, lançado em 1972. Ele tocou no álbum do The Temptations, 1990, lançado em 1973. Em 1975, ele tocou com Freddie King em Larger than Life e passou a gravar com outras músicos do alto-escalão como Martha Reeves, Randy Crawford, Quincy Jones, Herbie Hancock, B.B. King, Albert King, Rose Royce, Elkie Brooks. Também vale o destaque para a participação de Gadson como baterista em “I Want You” de Marvin Gaye e em duas músicas no álbum Chaos and Creation in the Back Yard de Paul McCartney (“The Mercy” e “Riding To Vanity Fair”).
Em 2009, Gadson se juntou ao neto de Willie Dixon, Alex Dixon, no lançamento de Rising From The Bushes, no qual ele apareceu em duas faixas, “Fantasy” e “Spoonful”. Mais tarde naquele ano, Gadson juntou-se a Beck, Wilco, Feist e Jamie Lidell, para fazer um cover do Oar de Skip Spence, como parte da série Beck’s Record Club. Ele também tocou bateria em outros álbuns de Beck, como o Sea Change, The Information e o Morning Phase, assim como no álbum Compass de Jamie Lidell.