后来拉贝得知那些士兵洗劫了咖啡屋，然后放火烧了房子。
  更糟糕的在后头。从远处，拉贝看见日本军队正在从南京的南部向北那挺进，以占领其余的地区。为了避免烧上他们，拉贝立刻驱车向北赶往南京的主要街道中山路，他将车停在外交部的红十字医院外。中国医护人员已逃离了医院，伤亡人员躺得到处都是——躺满了屋子、走廊，甚至挡住了医院的出口。
  那一天拉贝还遇上了一批中国溃兵，这些饥饿和疲惫的散兵们无法渡过长江撤退以求保命。开车经过山西路环岛时，他碰到了一支约400人的中国部队。他们荷枪实弹，正沿着日本军队推进的方向前进。也就是这时，拉贝有了一种突然的“人道主义冲动”，这在以后的几个月里始终萦绕在他的心头。拉贝提醒他们日军正从南部朝这里推进，建议他们放下手中的机关枪，加入到安全区的难民中来。经过短时间的商量，他们同意随拉贝进入安全区。
  同样地，当数百名中国士兵发现白己陷在城市北部，无法渡江撤退时，许多人闯入了安全区，请求欧美管理者们救命。安全区委员会成员们拿不定主意该不该帮助他们。毕竟他们创立这个安全区是作为平民的避难所，而不是收容士兵的。委员会试图与日军司令部取得联系，以解决这种左右为难的状况，但只是在汉中路遇见了一名日本上尉。
  委员会最终被士兵们的处境所打动，在他们的恳求下让步了。像拉贝一样，委员会成员告诉这些士兵，如果放下手中的武器，日本人会仁慈地对待他们。然后他们协助士兵们解除了武装，井将他们安置在中立区内不同的房子里，在混乱中，许多中国士兵脱下军装，混在安全区的难民之中。
  第二天，约翰·拉贝写了一封长信给日军指挥官，解释说明当前的情况。他恳请日本人宽恕这些中国士兵，并根据公认的战争法律规定，本着人道主义的原则对待他们。使拉贝大为欣慰的是，一名日本军官向他许诺，这些中国士兵将免于一死。
  但是当日本人违背诺言，把这些手无寸铁的中国士兵拖出去杀害时，拉贝的这种慰藉变成了恐怖。如果拉贝还寄希望于日本人不能从成千上万的难民中找出那些士兵来，那他就是大错而特错了。日本人通过翻查手，几乎把每一个士兵都挑了出来，因为他们知道每天被用枪支会在士兵手指的某个部位留下茧子。他们还检查每个人的肩膀上是否有扛过枪的痕迹，前额和头发下面是否有戴过军帽的压痕，甚至还检查脚上是否有因数月行军而起的水泡。
  12月14日晚的一次工作会议上，委员会获知日本人己经把捕捉到的1300人聚集到总部附近的一块空地上，准备枪杀他们。“我们知道确有一些原中国士兵在难民当中，但是拉贝那天下午曾经从一个日本军官那里得到许诺，这些士兵将免于一死。”基督教青年会代表乔怡·菲奇在其日记中写到这一事件。“现在看来再明显不过了，日本人要干什么。这些人被排列两行，以100个左右为一队用绳子紧系在一起，由上了刺刀的士兵看押着；那些戴着帽子的人被士兵粗鲁地扯下帽子摔到地上——然后，借助于照明灯的光亮，我们看着他们走向了死亡。”
  后来，拉贝提到他在安全区收留中国士兵的决定时，这样写道：“难道我没有权利那样做吗？我那样处理不对吗？”
  随后的几天中，拉贝无能为力地看着日军从安全区拖走成千的中国士兵进行杀戮。日军杀害了数以千计的无辜民众，他们凑巧在手指上、前额上、脚上有茧子或疤痕——这些人包括拉黄包车的苦力、手工劳动者和一些警官。后来，拉贝亲眼目睹了南京的一个佛教慈善组织红十字会从一个池塘里拖出了120 具尸体（在以后的一份报告中，拉贝指出，南京的几个池塘事实上已经消失了，因为它们均填满了尸体。）
  作为安全区国际委员会主席和纳粹党南京地区负责人，拉贝的这种地位对日本权力机关而言确实还是有一定份量的，他给日本大使馆一封接一封地写信。最初他总是压制自己的愤怒，每次在信中均使用礼貌的语气，因为身为德国公民和纳粹党领导人，他觉得有义务维持德日两国大使馆间的关系。他让委员会中的美国成员把他们写给日本大使馆的信给他看看、这样他就可以给这些信“加进一些甜言蜜语”。在他对日本大使信进行私人拜访时，拉贝一直保持着友好的态度。
  日本外交官必然也以亲切的微笑和官场上的礼德来处理拉贝的信件，接待他的来访。但拉贝最终总是得到千篇一律的回答：“我们将会通知军部。”过了一些天，每天都有令人无法容忍的新的暴行出现，拉贝给日本大使信的信中语气变得越来越充满敌意了，言语中加重了对暴行的愤怒：
  当时留在南京的27个西方人以及中国居民都被你军在12月14日进行的抢劫、强奸和屠杀等恐怖活动所震惊了！
  不论在安全区内还是在安全区入口处，我们没有看见一个日本巡逻哨。
  昨天，而且是在大白天，在大庭广众之下，在神学院的大厅里，日军士兵当着许多男人、妇女和儿童的面，强奸了数名妇女。我们22个西方人不能养活20万中国平民，也不帮你们白天黑夜地保护他们。这是日本当局的职责。如果你们能为他们提供安全保障，那么我们能够帮助养活他们！
  假如目前这种恐怖局面持续下去的话，很快连工人也找不到，基本的服务根本无法进行。
  渐渐地，拉贝和国际委员会的其他成员开始理解日本外交官答复的真实含义——下令进行屠杀的是军方，大使馆也无能为力。日本大使馆参赞福田德康跟拉贝谈了很多，他说：“日木军队想尽量地破坏这座城市，但我们大使馆，将竭力阻止他们。”在南京被疯狂蹂躏期间，一些日本大使馆官员确实曾建议国际委员会直接向日本国内寻求公众舆论的支持，以迫使日本政府采取行动。与此同时，另外一名使馆官员却竭力劝阻拉贝保持沉默，并警告他说：“一旦你对新闻记者说了什么坏话，整个日本军队都会对我群起而攻。”
  到后来，日本盟国官员的身份成了拉贝最后一张护身符，他做了现在想起来令人十分害怕的事情：他开始在城里四处游荡，打算以个人力量去阻止暴行的发生。
  无论何时拉贝开车往来于南京城中时，不时会有男人跳出来拦住车子，请求拉贝去制止一场正在进行的强暴——通常受害人是该男子的姐妹、妻子或女儿。于是拉贝就让他上车一起赶往出事地点。一到那儿，他就将日本兵从受害者身边赶跑，有一次他甚至亲自拉起一个正趴在一名年轻姑娘身上的日本兵。他知道这些行动是非常危险的（拉贝在给希特勒的报告中写道：“日本人有手枪和刺刀，而我……只有纳粹党标志和我的袖章。”）但是没有什么力量能够阻挡他的正义之举——即使面对死亡的威胁。
  拉贝在1938年1月1日的日记中记下了这样一件事：“有位母亲跪在我面前，大声哭叫着恳求我，去营救她年轻漂亮的女儿。一进（房子），我就看见一个全身裸露的日本兵正压在那年轻姑娘的身上，那女于歇斯底里地哭喊着。我对那蠢猪喊叫着，用各种他能听懂的语言嚷着，‘新年快乐！’他只好灰溜溜地光着身子跑了，手里还拎着自己的裤子。”
  拉贝被南京城内的暴行惊呆了。在街道上他看见许多具妇女的尸体横陈在被烧焦的房屋废墟边上，她们都是被强奸以后惨遭杀害的。拉贝在给希特勒的报告中写道：“3到10个一群的日本士兵开始沿街搜索，掠夺各种可以被偷走的东西。”
  他们不停地对妇女和姑娘们施以残暴，并随心所欲地杀死任何人，包括表示反抗，试图逃跑、以及碰巧是在不适当的场合、不恰当的时间出现的人。上至年过七旬的老媪，下至不到8岁的幼女，都很难逃脱被奸污的恶运，事后日本兵还以最野蛮的方法，对她们施以毒打或残害。我们发现有些妇女的尸体躺在碎啤酒瓶上，还有的被竹竿刺破了身体。我亲眼目睹了这些受害者的惨状——甚至与其中一些奄奄一息的人进行交谈，最后是我把她们的尸体送到了鼓楼医院的停尸房。所以，我个人确信，所有这些报告谈到的都是事实。
  在拉贝走在这座他深爱着的城市的废墟之时，他看见几乎在每一条街角处，都贴着漂亮的日本海报。上面写着：“回到家乡来！给你饭吃！信赖日本军！可得救助！”
  拉贝从决定救助中国难民之后，就竭尽所能地收容中国人，他把自己的房子和办公室变为西门子公司雇员及其家属的避难所，还把许多中国妇女藏在后院矮小简陋的茅屋中。为防止她们遭受日本流氓的伤害，拉贝专门建立了一套警报系统。只要有日本兵翻过院墙，妇女们就会吹响口笛招呼拉贝冲到院内将他们赶走，这种情况太频繁了，以至于拉贝晚上几乎不敢离开家，唯恐日本兵会趁他不在的时候闯进来，对那些可怜的妇女恣意施暴。他不断地向日本军官控诉这些暴行，但都仿佛是泥牛入海，那些人根本置之不理。有一天拉贝抓住一个正在后院茅舍里强奸妇女的日本兵后，把他交给他的上司处理，可那日本军官也只不过煽了这个流氓一记耳光而已，再没有别的惩罚。
  情况很糟糕，拉贝失望极了——因为他和其他20几个人只能有限地保护成干上万左右的市民免遭5万多日军的伤害——不过他井没有表示出来。