1982年，日本文部省修改教科书，把原有的记载日本侵略中国，实施南京大屠杀的内容，修改为“进入”中国。当时，中国老百姓，尤其是南京的老百姓听说后非常气愤，就写信给市政府说要捐款，要求市政府为死难的同胞建馆、立碑、编史。

在这种情况下，当时的南京市政府，顺应民心，开始着手筹备建立纪念馆。经江苏省的批准，首先成立了一个“南京市编史、建馆、立碑办公室”，12月13号，他们在江东门这个地区立了一块碑，搞了一个揭碑仪式，然后就正式开始筹备。

当时什么都没有，他们就到南京市档案馆、图书馆、第二历史档案馆去查。就这样，查到了很多过去审判日本战犯的资料、日本军队拍的1000多张照片、老百姓写给当时的自治会要求救济的呈文材料。另外，就是寻找到重要幸存者、见证人。

建馆地点为什么要选在江东门呢? 1982年，全市进行了一次文物普查，老百姓说这个地方是当年屠杀的现场，而且也是埋尸的重要场所。1984年这个馆还没有建的时候，这个地方是一片菜地，菜地中间有一个大坑，老百姓挖出来尸骨就往坑里一丢，这个坑上面就盖了一层油毛毡。后来，这些尸骨全都保存在了尸骨陈列室。

1985年的春节，大年初一，纪念馆 (老馆) 破士动工，3个月就建好了。建好后马上布展，展示大家搜集到的各种资料。同时，全市立碑，一共17块，分布在各区。纪念馆8月15号落成开放，其他的各个碑也在当天揭碑。

建馆以后，中外反响很大，很多日本团体或个人也到这里来，都要求开座谈会，要求会见幸存者。馆长就把一些幸存者请来，跟日本参观者见面，开座谈会，展示他们身上的伤疤。当时一共有40多个国家的民众和团体到这里参观。

我们一方面希望用历史事实来揭露日军的暴行，让老百姓不要忘记过去的这段历史，并且教育人民更好地建设我们的国家，增加青年们的爱国热情，另一方面，我们也用这段历史来展望和平。