周汝昌先生在《「紅樓」本是燕京典》中指出：「紅樓一詞所代表的歷史實體和概念，是隨著京都地點的遷變而轉移的。」「曹雪芹是清代人，清代建都於北京，那麼雪芹之用此一詞來寫富家女流，自然就是指北京的情境。」實際上，「紅樓」在古代應是泛稱，多指豪門貴族居住之地，一般偏重指富家女性居住之所，其地點所在並非專指京都。曹雪芹的紅樓一夢也是發生在江南，北京只不過是其創作時的文學背景。
南京舊稱金陵，是六朝古都，號稱風月繁華、世代金粉之地。作為紅樓實體前身的「朱樓」，在六朝時已出現在金陵石頭城。南北朝時期著名詩人謝眺有《入朝曲》：「江南佳麗地，金陵帝王州。逶迤帶綠水，迢遞起朱樓。飛甍夾弛道，垂楊蔭御溝。凝笳翼高蓋，疊鼓送華舟。獻納雲台表，功名良可收。」李白在年少漫遊金陵時也寫道：「地擁金陵勢，城回江水流。當時百萬戶，夾道起朱樓。亡國生春草，王宮沒古丘。空餘後湖月，波上對瀛洲。」由此可見，南北朝時期金陵已是處處紅樓畫梁雕棟的繁華之地，紅樓是當時金陵豪富之家修建的豪宅。
自康熙二年（1663年）曹雪芹曾祖父曹璽首任江寧織造起，一直到雍正六年（1728年）曹家被抄家回京，曹家祖孫三代四人出任江寧織造。當時的江寧織造署就設在南京，曹家在江南居住的時間共計六十餘年，正是從發跡到敗落的全過程。若從《紅樓夢》的其他幾個書名來分析，也會發現紅樓更可能是在南京而不是北京：《金陵十二釵》直接點出是描寫金陵的十二個女子，紅樓自然位於南京；《石頭記》則是記載發生在石頭城的故事，而石頭城正是南京的別稱；《風月寶鑒》是曹雪芹的舊稿，雪芹在南京度過少年時光，舊稿也應描寫抄家之前江南時期的繁華生活。曹雪芹的朋友敦誠、敦敏寫詩說他「秦淮風月憶繁華」、「廢館頹樓夢舊家」、「秦淮舊夢久已覺」 ；《紅樓夢》書中也明說甄（真）家始終在江南，作者是為「當日所有之女子」做一編述。那麼這些當日女子所居之紅樓，不是也應該處在作者舊夢所繫的風月繁華的江南麼？
唐初即建有紅樓，唐詩中紅樓意象不勝枚舉，有的在京都長安，有的則不知何處。如初唐詩人沈佺期的「紅樓疑見白毫光，寺逼宸居福盛唐」（《紅樓院》）、楊巨源的「鳳城初日照紅樓，禁寺公卿識惠休」（《送定法師歸蜀法師即紅樓院供奉廣宣上人兄弟》）以及李遠的「碧海魂應斷，紅樓信自稀」裡的紅樓是在京都；而於鵠的「粉壁猶遮嶺，朱樓尚隔溪」則是描寫漢陽郊外的瀑泉寺。同時，於鵠在《送唐中丞入道》一詩中寫到：「到時漫發春泉裡，猶夢紅樓簫鼓聲。」「紅樓」與「夢」字，詞序雖然顛倒，而意思卻緊密相連，順理成章，情韻神髓相通。這與《春雨》一詩可謂異曲同工：「悵臥新春白袷衣，白門寥落意多違。紅樓隔雨相望冷，珠箔飄燈獨自歸。遠路應悲春畹晚，殘宵猶得夢依稀。玉鐺緘札何由達？萬里雲羅一雁飛。」 這是公元9世紀，一生襟抱未曾開的晚唐大詩人李商隱，在一個飄雨的春日因春雨而感懷，孤身靜臥在一個叫白門的地方寫下的一首詩。詩中「紅樓」與「夢」遙遙相望，正表達出夢斷紅樓的無限淒美意境。而白門在何處？歷代注家沒有形成一致看法，有的考證是徐州白門樓，有的認為是金陵，也有的認為只是借指作者所處的寓所。實際上此處紅樓只是指作者感懷之人曾經居住的房子或者是作者賦予感懷之人的美好意象而已，沒有必要坐實它在何處，更不必去認定它就在京都。另外，這首詩同李白年輕時作的《陌上贈美人》在字面上略有相合：「駿馬驕行踏落花，垂鞭直拂五雲車。美人一笑褰珠箔，遙指紅樓是妾家。」 李白一生飄遊不定，詩裡的意象更不必確指何地紅樓。另外，李白的《侍從宜春苑奉詔赴龍池柳色初青聽新鶯百囀歌》一詩，內有「紅樓」、「寒塘」、「月」等字眼，與《紅樓夢》中「寒塘渡鶴影，冷月葬詩魂」似有關聯。全詩如下：「東風已綠瀛洲草，紫殿紅樓覺春好。池南柳色半青青，縈煙溺娜拂綺城。悵望人間萬事違，私書幽夢約忘機。幽徑只攜僧共入，寒塘好與月相依。」不敢斷定曹雪芹在創作時是否受到以上唐詩中的詩意影響，但他的祖父曹寅曾主持刊刻《全唐詩》，搜集到的唐代詩人詩作版本定是不少，曹雪芹幼時在江寧織造府應該有條件接觸到這些本子。
「紅樓夢」三字相連的最早出處，可能是晚唐詩僧蔡京的《詠子規》：「千年冤魂化為禽，永逐悲風叫遠林。愁血滴花春艷死，月明飄浪冷光沉。凝成紫塞風前淚，驚破紅樓夢裡心。腸斷楚詞歸不得，劍門迢遞蜀江深。」。在古詩詞中，「紅樓」多與紫塞相對。紫塞同紅樓一樣也是泛稱，原指河北、遼寧交界地帶，在詩詞中多用來借指戍邊邊境。曾經一度被索隱派認為是賈寶玉的原型的清代詞人納蘭容若，同曹雪芹的祖父曹寅同為康熙侍衛。他曾扈從康熙北巡，寫下了「因聽紫塞三更雨，卻憶紅樓半夜燈」的佳句。此外，他還有「此夜紅樓，天上人間一樣愁」、 「只休隔夢裡紅樓」等帶有「紅樓」字眼的絕妙佳詞。其中，「今宵便有隨風夢，知在紅樓第幾層」的詩句更是遠承唐詩意境。稍後高鶚的內兄張問陶也為高續補《紅樓夢》寫下了「俠氣君能空紫塞，艷情人自說紅樓」的詩句，當然，這裡的「紅樓」已經是專指《紅樓夢》這部著作而非作為歷史實體的紅樓了。
唐以後寫紅樓的詩不勝枚舉，比較引人注目的還有晚唐五代韋莊的詩詞。俞平伯先生也曾在《題贈全國紅樓夢討論會》序中說：「世傳紅樓夢，而紅樓何在，迄無定論。觀《通鑒》卷二百六十三記五代王建事，建作朱門繪以朱丹，蜀人謂之畫紅樓，是紅樓亦若朱門之泛稱耳。」韋莊「以才名入蜀，蜀主建羈留之」，他有個「資質艷麗善詞翰」的女友，被蜀主王建以拜師學詞名義納入宮中。也許韋莊「咫尺畫堂深似海，憶來惟把舊書看。幾時攜手入長安？」裡的畫堂正是指蜀主王建的宮殿「畫紅樓」。此外，韋莊《閨月》中的「美人情易傷，暗上紅樓立。欲言無處言，但向嫦娥泣。」《長安春》裡的「長安春色本無主，古來盡屬紅樓女」以及著名的《菩薩蠻》：「紅樓別夜堪惆悵，香燈半卷流蘇帳。殘月出門時，美人和淚辭。琵琶金翠羽，弦上黃鶯語。勸我早歸家，綠窗人似花。」等詩詞描寫的地點既有長安，又有江南，還有西蜀，可謂處處有紅樓。
同樣，宋詞「璧月小紅樓，聽得吹簫憶舊遊」裡面的「紅樓」是在揚州而不是當時京都臨安。「何處少年吹玉笛，誰家鸚鵡語紅樓」、「碧海魂應斷，紅樓信自稀」、「夜上紅樓縱酒情」、「春波軟蕩紅樓水，多時不放鶯兒起」、「東風歷歷紅樓下，誰識三生杜牧之」等等有「紅樓」字眼的詩句舉目皆是。「紅樓」只是偏重指豪門貴族女性居住的金閨繡戶，繁華之地多有紅樓，沒必要非得認定紅樓就在京都不可。