Il brano nacque nel 1940, quando il celeberrimo jazzista Duke Ellington si trovò nella necessità di trovare un pezzo nuovo da usare come sigla di apertura delle proprie esibizioni radiofoniche dal vivo, dopo che l'ASCAP (American Society of Composers, Authors and Publishers, a cui era iscritto) aumentò le tariffe per le esecuzioni alla radio dei propri pezzi. Ellington allora chiese al figlio ventunenne Mercer e al compositore Billy Strayhorn, che erano iscritti alla BMI (Broadcast Music Incorporated) anziché all'ASCAP, di scrivere un brano apposito. Fino ad allora, infatti, Duke Ellington con la propria orchestra usava come sigla Sepia Panorama scritta proprio da lui, il cui costo di esecuzione sarebbe diventato proibitivo.
Mercer Ellington trovò allora fortuitamente in un cestino dei rifiuti un pezzo che Strayhorn aveva scritto ma che intendeva scartare, perché gli ricordava troppo gli arrangiamenti del celebre pianista Flectcher Henderson: il pezzo si intitolava Take the "A" Train e da allora divenne la nuova sigla e il pezzo più noto e distintivo di Duke Ellington che lo incise per la prima volta in studio nel 1941.
Sull'origine del titolo del brano circolano numerose leggende, e siccome la sua composizione risale agli anni quaranta è difficile districarsi su quale sia la versione corretta. Lo scrittore e storico musicale Stanley Dance lo chiese direttamente a Billy Strayhorn nel 1966 e l'intervista è pubblicata nel volume The World of Duke Ellington del 1970.
La spiegazione data da Strayhorn è che nel periodo in cui scrisse in brano la città di New York stava potenziando la propria rete metropolitana e tra le nuove linee che venivano aggiunte c'erano la "A" e la "D", entrambe le quali collegavano il quartiere Bedford-Stuyvesant di Brooklyn con Harlem a Manhattan, mettendo così in collegamento le due zone abitate prevalentemente da afroamericani. La linea "D" arrivava sulla 145esima Strada ad Harlem e proseguiva poi verso nord fino al Bronx; al contrario la linea "A" andava direttamente nel distretto di Sugar Hill, dove c'erano i migliori locali in cui veniva suonata musica jazz dal vivo.
Strayhorn era quindi solito dare indicazioni alle persone di Brooklyn dicendo "Take the A train, take the A train!" per evitare che sbagliando prendessero la "D" e finissero lontano dalla propria destinazione; prendendo spunto da questa frase decise quindi di intitolare così il proprio nuovo brano.
Furono quindi casuali sia il ritrovamento della composizione sia la scelta del titolo, ma entrambi garantirono al pezzo un successo immortale.
