Starmer ska enligt The Guardian ha lämnat Storbritannien på lördagen och inte ha några offentliga evenemang inplanerade förrän nästa vecka.
Enligt samma tidning har hans familj befunnit sig på den portugisiska ön sedan förra veckan. Starmer blev dock kvarlämnad på grund av sin yngre bror Nicks död den 26 december.
Diário de Notícias da Madeira uppgav att premiärministerns besök är av personlig karaktär och enligt regeringskällor inte bör omfatta officiella möten med regionala enheter.
Även på semester är regeringschefen fortfarande aktiv och har inte överfört några funktioner till sin vice premiärminister Angela Rayner, rapporterade The Guardian.