Globetrotters’ın kökleri ilk oyuncularının büyüdüğü yer olan Chicago’nun güneyinde yeşermeye başladı. Bu oyuncuların çoğu Wendell Philips Lisesi’ne gittiler. 1927’nin kasımında Savoy Balo Salonu açıldığında yapılan ilk gösteriler arasında Savoy Big Five (Büyük Savoy Beşlisi) vardı.
Savoy Big Five, danslardan önce basketbol gösterileri yapan bir takımdı. 1928’de bazı oyuncular anlaşamayarak takımdan ayrıldı. O sonbahar, Tommy Brookins önderliğinde bir grup oyuncu, o bahar güney Illinois’i turlayacak olan Globe Trotters’ı kurdu.
Daha sonra Abe Saperstein, takımla çalışmalara başladı. New York Harlem Globe Trotters adıyla 1929’dan sonraki her organizasyonda takımla beraber Iowa ve Illinois’i dolaştı. Saperstein, takımın şehrinin Harlem olmasına karar verdi. Çünkü o zamanlar Afro-Amerikan kültürünün merkezi sayılıyordu ve turnelerde insanlara daha mistik gelecekti. Takım, kuruluşundan kırk yıl sonra, 1968’de ilk defa kendi “evi” olan Harlem’de maç yaptı.
The Globetrotters, çok eğlenceli ve gösteri yüklü maçlar yapmasına rağmen, esas gösterilerini, maçta sağlam bir liderlik elde ettikten sonra yapıyorlar. 1939’da World Professional Basketball Tournament (Dünya Profesyonel Basketbol Turnuvası) tarafından yapılan daveti kabul ettiler ve bu turnuvanın yarı finalinde ilk defa New York Rens’le karşılaştılar. Bu maç aynı zamanda tamamı siyahlardan oluşan iki takımın ilk mücadelesi oldu. Bu maçı Rens kazandı ve sonrasında şampiyon oldu. Ancak 1940 senesinde aynı turnuvada çeyrek finalde Rens’i yenerek ve sonrasında da şampiyon olarak rövanşlarını almış oldular. The Globetrotters’ın hareketleri bir ya da daha fazla basket topunun mükemmel kontrolüne, dengeye ve paslara dayanıyor.