Origen de la expresión "trabajar como un negro"

Por sorprendente que os parezca, no es una expresión en absoluto racista. De hecho, la palabra negro en esta expresión ni siquiera hace referencia a la gente de color.