A Downing Street az utca építője után, Sir George Downingról kapta a nevét. A 10. számú ház 1735 óta a mindenkori brit miniszterelnök rezidenciája, de a kétemeletes, téglaházban miniszteri hivatalok is helyet kaptak. A 11. számú házban a pénzügyminiszter lakik. Biztonsági okokból 1989 óta kapu zárja le az utcát a Whitehalltól.

Bármilyen furcsa is, de ezen prominens utca megalapítója és névadója valójában egy – a sötét ingatlan üzleteiről ismert – köpönyegforgató volt. Downing egyike volt a Harvard Egyetem első végzőseinek, szolgált Cromwell seregében, volt hágai angol nagykövet és végül II. Károly informátora.

Downing meggazdagodásának kulcsát abban látta, ha ingatlanokat szerez közel a Westminster-hez. Közel 30 évet kellett várnia, hogy 1682-ben a kiszemelt terület feletti bérlet jogát megszerezze. Az ott lévő házakat azonnal lebontatta és terve az volt hogy egy 15-20 házból álló zsákutcát építtet a mai Downing Street északi oldalán. Mivel azonnali megtérülést és hasznot akart, ezért a házak alacsony költséggel, csekély alapozással, silány kivitelben készültek el az akkor még mocsaras területen.

A házak számozása teljesen esetleges volt, a mai 10-es szám is 5-ösként kezdte pályafutását, amíg 1779-ben újra nem számozták.

Azonban a mai Downing Street 10. két épület egyesítéséből, – a Downing féle épület és a mögötte lévő Horse Guard Parade-ra néző, 1677-ben épült nagyobb épületből – jött létre.

Az 1730-as évekre jelentős változások mentek végre a politika, a parlament és a kormányzás terén, ekkor II. György odaajándékozta az épület együttest Sir Robert Walpole-nak aki ezidőtájt a „First Lord of the Treasury” tisztét betöltve, gyakorlatilag az első miniszterelnök volt. Walpole visszautasította az ajándékot, azt kérve, hogy az épület szolgáljon a mindenkori miniszterelnök hivatalául. 1735-re átépítették és berendezték úgy hogy megfeleljen a miniszterelnöki státusznak. Ettől kezdve megtalálható a híres 10-számú ajtón a „First Lord of the Treasury” feliratú bronz levélszekrény.

Azonban nem sikerült azonnal hagyományt teremteni, az idők folyamán sok miniszterelnök döntött úgy, hogy nem költözik be a házba. Így a háznak a több száz éves fennállása alatt voltak fényes és kevésbé fényes korszakai. Ez idő alatt álaga hol leromott, hol felújjították, bővítették és átalakították. 1938-ban még az is felmerült, hogy lerombolják az utca északi oldalán álló házakkal együtt, hogy helyükön egy új modern épületegyüttest emelhessenek. Végülis a terv nem valósult meg.

Az új épület építésének terve még egyszer, a II. világháborút követően is felmerült, de végülis csak a 12-es számú épületet rombolták le és a 10 és 11-et a történelmi múltja miatt, – a légibombázások alatt elszenvedett károk ellenére is – renoválták és felújították.

A munkálatok 3 évig tartottak és a tervezett 500.000 fontos költségvetés dupláját vette igénybe. A renoválás során kiderült, hogy a fekete épület valójában sárga, és a évszázadok során rárakódott szennyeződés adja jelegzetes sötét színét. Hogy megőrizzék hangulatát, ezért a felújítást követően ismét feketére festették.

A szomszédos 11-es számú epület a mindenkori pénzügyminiszter hivatalos rezidenciája 1928 óta. Bár hivatalosan a 10-es a miniszterelnök, a 11-es a pénzügyminiszteri otthona, de nem minden esetben volt ez így. Legutóbb Tony Blair miniszterelnöksége idején cseréltek házat – az akkor pénzügyminiszter – Gordon Brown-nal, hogy a több gyermekes Blair család kényelmesebben elférjen a nagyobb, 11-es épületben.

Amikor az ír függetlenedési mozgalom erőszakossá kezdet válni, egy 3 méter magas fa torlaszt építettek, hogy lezárják az utca két végét, ezt 1922-ben a szabad ír állam léterjöttekor bontották le. Azonban biztonsági okokból 1989-ben újra, a mai is látható acél kerítést, kaput és az úttestből kiemelkedő acél barikádot állították fel.