Im Jahr 996 wurde Beijings größte und älteste Moschee ursprünglich errichtet. Der arabische Gelehrte Nasurutan verband damals traditionelle chinesische Architektur mit arabischen Inschriften. Später wurde die Anlage mehrfach um- und ausgebaut. Neben den antiken Shaihai-Grabstätten für Islam-Prediger aus dem arabischen Kulturkreis beherbergt die Moschee auch eine über 300 Jahre alte, handschriftlich angefertigte Ausgabe des Korans.
Neben Gläubigen aus China kommen auch viele Ausländer zum Beten in die heiligen Mauern, die einem buddhistischen Tempel gleichen. Buddhistische Tempel sind in der Regel südlich ausgerichtet, die Niujie-Moschee weist allerdings Richtung Mekka. Ein weiterer Unterschied besteht darin, dass in den Dekorationen weder menschliche noch tierische Abbilder auftauchen, denn das gilt im Islam als Tabu.
Nach mehreren Restaurationsphasen hat die Regierung 2005 noch einmal fast 25 Millionen Yuan RMB in die Hand genommen, vor allem, um die Anlage zu erweitern. Zwei anliegende, über Jahre zweckentfremdete Gebäude wurden dabei reintegriert. Eines dient heute als Gebets-Ort für muslimische Frauen.