Bosch malte seine Darstellung des gegeißelten Jesus vor dem Volk im Auftrag einer Stifterfamilie, die unten in den Bildecken dargestellt war. Wohl schon im 16. oder 17. Jahrhundert waren diese Figuren beschädigt und übermalt worden; die heute sichtbaren Reste wurden erst vor wenigen Jahren wieder freigelegt. Der unterschiedliche Maßstab der Figuren spiegelt ihre Bedeutung. So sind die Kinder sehr viel kleiner wiedergegeben als der Vater und einer der Söhne, der durch seine Tonsur deutlich als Mönch zu erkennen ist. Diesem ist auch die Inschrift beigegeben, die auf lateinisch das Gebet der Stifter formuliert: „Salva nos Christe redemptor“ (Erlöse uns, Christus, Heiland).