但是，摆在黄泽如面前的首先是生存问题，那是最现实也是最为严峻的一个问题。为了家庭生计，他依然天天和高伯一起出去拉黄包车。第二年，高兰香又生了一个女儿，叫佑娘，这个名字是高兰香给起的，她说她把娘给扔在中国了，她是一个不孝女，娘一个人过日子多艰难呀！但她又不能回到中国去，她只能在南洋保佑娘平平安安了！生了孩子后，为了减轻丈夫的负担，高兰香又回到阿春家的染坊做工，她让高伯留在家里照看两个孩子。她觉得，高伯年纪也大了，没必要搞得那么辛苦，外头可以让年轻人多做点。高伯倒也乐得其所，两个孩子长得天真可爱，他觉得在家里陪着孩子说说话也是一件不错的事。
谁想不久，染坊里发生了火灾，那场大火烧得实在猛烈，烧得有点莫名其妙，谁也不明白那火是怎么烧起来的。下半夜的时候，阿春在睡梦中仿佛觉得眼前有一片火光在闪，起初还以为自己在做梦，但很快，她就发现那不是梦，而实实在在是染坊着火了。那时，一家人早已睡熟，阿春一声惊叫，把全家人都给叫起来了。看那阵势，大家奋力救火，但无奈火势太猛，并不是一家人能够救得了的，几乎就转眼的功夫，一场大火已经把染坊里的布料和阿春家十几年的所有积蓄给烧得一干二净，同时也把高兰香仅有的一份职业给烧没了。面对如此巨大的灾难，高兰香和阿春两人抱在一起，痛哭了一场。
生活就是这么的折磨人和不公平，阿春他们到南洋后，苦苦打拼了十几年，好不容易日子才刚刚好过起来，无情的现实却又把他们推向了绝路，阿春一家人只好重新从零开始，从一无所有开始。如此一来，高兰香便不可能继续留在阿春家里了，只好又去找工作做，可是找了几天也没找到，高兰香心里就有些急了。后来，听人说附近一个英国人家里要雇保姆，高兰香就去求职，人家问了高兰香一些情况，就答应收了她。高兰香心里别提有多高兴。夜里，她把自己找到工作的事对黄泽如说，黄泽如听了却说，干什么工作都要比干保姆好做，那种伺候人的事最不好做了，更何况是在英国人家里当保姆。你得小心那些黄毛。
高兰香却不以为然，她说，反正我们认认真真替人家做事就是了，还有什么好做不好做的。黄毛又怎么啦？你是让黄毛给吓怕了才天天觉得黄毛不好。
高兰香服务的那个英国人东家叫伯特，已经四十多岁了，是英属殖民地政府机关的一名不小的官员。女主人叫安妮，是一个把男人看得很紧，就连家里的一只母苍蝇她也会去提防的女人。安妮一家从祖上很早就从英国搬到新加坡居住，已经有好几代了，由于新加坡有很多的中国人，接触的时间久了，他们对中国话又很感兴趣，安妮一家人便会说几句很夹生的中国话。
安妮生性多疑，对雇工要求非常苛刻，她心里一整天都在想着谁会偷去她家里的什么东西，包括她的男人。好像那些雇工是为了偷东西才到她家里来的。除去高兰香，东家还雇有车夫、马夫、洗衣嫂和厨娘等等好几个雇工。高兰香才去不久，便看出来了，大家都很怕安妮。说起安妮，大家的神色都有几分不自在，或者赶紧把话题转到其他方面去。高兰香的主要任务是帮助安妮看好她的几个孩子。安妮一共生有一男二女三个孩子，两个女孩居大，都已经十多岁了，基本上不用花什么心思。最费功夫的是那个叫贝拉米的男孩，才六岁。那是个非常好动又调皮的孩子，整天闹个不停，连安妮都拿他没办法，高兰香自然也奈何不了他。但贝拉米却特别喜欢高兰香，高兰香一到他家里，他就粘上她，甩也甩不开。动不动就吵着要高兰香带他上街玩去。有时，一天要带好几次，搞得高兰香都有些心烦了。高兰香的心情却让安妮看出来了，安妮便用半生不熟的中国话对高兰香说，高，他要你带他上街玩，你就带他去玩好了，你为什么拒绝？你不能让他失望的。一个大人是不可以让孩子失望的。你那样子做他会很伤心的，那样很不好，会使他对大人，对生活失去信心的。高兰香于是只好又带贝拉米上街玩去了。
高兰香最怕最担心的就是到了街上，贝拉米根本就不听她的话，想往哪跑就往哪跑，随意性太大了。有时，一个不留神，就不知道他跑到哪去了，吓得高兰香一阵好找。高兰香觉得带贝拉米，简直就像是在带一匹没有上笼套的野马，是一件非常吃力和危险的事情。搞不清楚这匹野马什么时候说消失就在她的眼前消失了。要是真的到了那一天，那她就彻底完了。
高兰香在战战兢兢中过着日子。这还不算，夜里，一个礼拜当中，除了礼拜天外，有六天时间高兰香还不能回家，她得在安妮家里陪贝拉米睡觉。睡在贝拉米的床上，想着在家里的佑国和佑娘，高兰香心里有一种说不出的酸楚，心想，同样是人，同样是一条命，人家的孩子为什么跟自己的孩子就是不一样，这命与命为什么是那样的不同？但她能有什么办法，不就是为了能够在南洋站稳脚跟，为了能够活下去吗？一想到那些，受再大的委屈，吃再多的苦她也忍了。
高兰香无法想到对她的最大威胁不是来自于那个淘气男孩贝拉米，而是东家伯特。从表面上看，伯特是一个彬彬有礼的典型的英国绅士，相对于有点刻薄的女主人安妮而言，高兰香对他的印象极好，他总是对她笑嘻嘻的，和颜悦色，从来没有表现出高人一等的那种傲慢和无礼。高兰香心里便想，在外打工，能够遇上这样的东家已经是万幸了。一次礼拜天回家，她把自己在东家的一些情况跟黄泽如说了，还特意说了自己算是碰到一个好东家了。黄泽如拉了一天的车子，已经累得一塌糊涂，也没太在意她在说些什么，只说，已经跟你说过，跟那些黄毛打交道，一定不可掉以轻心，大清国不就是断送在那些黄毛手里吗？他们没有你想象的那样简单。说着，一个翻身，已经呼呼睡着了。高兰香心里咕哝着，十根指头还不一样长呢！黄毛跟黄毛，也有不一样的。
然而，高兰香以她的善良之心，错误地判断了那个叫伯特的东家。外貌绅士的伯特其实内心并不绅士，他早已对年轻貌美的女雇工垂涎三尺，只是他不动声色而已，时机未到而已。他在静静地等待时机。伯特对年轻的女雇工实施强暴是在一个下雨的午后，那个下午，女东家安妮已经出去办事去了，高兰香正在安顿贝拉米睡午觉。要是以往，这种时候伯特也应该上班去了，可是这天伯特并没有走，伯特知道安妮一时半会儿是不会回来的，他觉得这是最好的机会了。伯特推开高兰香和贝拉米卧室的门的那一刻，高兰香一时还没反应过来，以为伯特是进屋来看贝拉米的。可是她错了，伯特让她跟他去他的房间，他说他有事情需要她帮忙。高兰香不明就里，跟着他就走。在穿过宽敞的客厅时，高兰香忽然发现今天东家家里好像特别的寂静，那些天天都在东家忙活的雇工们不知道都上哪去了，这时一个也没有见到。
高兰香并没有去多想，只傻里傻气跟着伯特到了他的房间里。高兰香没有想到自己一进去伯特就转身把房门给关上了，她这才发现伯特让她来到他的房间的真实目的。几乎容不得她有任何思考的机会，伯特已经把她推倒在了床上，向她扑了过来。高兰香从来没有见过一个蓝眼睛、红头发的外国人在发情时的表情是那样的可怕，她被吓坏了，跳下床想夺门逃去，但可以想见，在一个身形高大、力大无比的外国男人面前，她的任何反抗都是徒劳的。到了这种境地，高兰香才后悔不该不把黄泽如的话当一回事，她一边叫喊，一边拼命挣扎，眼泪止不住地流下来。伯特已经兽性发作，根本不把那两行眼泪当回事，他用很不熟练的汉语跟她说，你不用挣扎了，没有人能够救你，你不如听我的话，我保证让你的生活过得很幸福，我说话算话的，你要是不愿意的话，你，还有你的家人，是没法在新加坡呆下去的。我会让你们在新加坡一天也呆不下去。
伯特确实早已经把那些雇工们都支走了，目的就是要对这年轻的女雇工下手。伯特企图用那些话使她屈服，顺从他。可高兰香哪里肯依，从她的内心来说，就是饿死，她也不可能答应伯特的无耻要求。
有研究表明，动物在性冲动时是没有理智的。伯特这时整个心思就是想得到这个年轻漂亮的女雇工，他不可能去理会高兰香的苦苦哀求，在已经失去理智的伯特看来，高兰香的任何拒绝和反抗是没有一点意义的，他已经不顾一切地把高兰香的衣服撕得七零八落。也该着伯特没法得逞，这时，已经有人拼命地在外面敲门，声如打雷。精明的伯特不用多想就知道是安妮回来了，这是他没有预料到的事。而事实上，他太大意了，生性多疑的安妮早已觉察到自己的男人对这个女雇工觊觎已久，平时她只是装聋作哑而已，她需要的是证据。午饭后，她故意对伯特说，她必须出去替几个孩子采购一些东西，那些事很麻烦很啰嗦，她要很晚才能够回家，搞不好晚餐就在外头吃了。伯特知道机会来了，嘴上说，你尽管忙你的去吧，亲爱的！
和安妮结婚都十几年了，伯特当然不会想到自己的女人还这么有心计，会给他来个欲擒故纵，杀他一个回马枪。安妮的回家，彻底把伯特的好事给搅了，弄得伯特非常的狼狈和被动。就像许多不负责任的无耻的男人一样，伯特这时把责任全都推给了女雇工。他向安妮表白说一切都是女雇工挑起的，是高兰香在勾引他，要不是高兰香，他怎么可能去干这种对不起安妮的事？
安妮这时完全站在了上风，昔日道貌岸然的伯特眼下已经成了她的一个可怜巴巴的俘虏，有什么能比人赃俱获更有说服力？现在，她完全是一个胜利者，她当然不可能相信伯特的连篇鬼话，一个女人对自己的男人在其他方面可能会存在判断上的某些失误，但在对男人的性姿态性检点方面，女人有她们天生的敏感性。也就是说，安妮早已看出自己的男人在这方面绝不是一个省油的灯。但到了这种关键的时候，作为妻子的安妮不可能胳膊肘往外拐，无论是伯特还是她都必须一致对外，伯特和她之间的事怎么说也是内部的事，内部的事情都好处理。
碰到这种事情，衣衫不整的高兰香羞耻得只怕地没缝儿，恨不得往地里钻。才想夺门逃去，安妮已经把她堵在了门前，连眼睛都不眨一巴掌打在了她的脸上，打得高兰香眼冒金星，差点栽倒在地。安妮还不解恨，一边恶狠狠揪着她的头发，一边骂高兰香是一头骚得不能再骚的母猪，才干出勾引她男人的可耻勾当，她要高兰香为这件事付出代价。她所说的代价其实就是让高兰香在两天的时间内无条件离开新加坡，在她的眼前消失掉。她说像高兰香那种女人根本就不配在新加坡这种地方呆着。那完全是一种报复性的行为，她的整个目的意义就在于让她的雇工清醒地认识到她的绝对权威性，和她在这个家庭中不可动摇的主人的地位，她为自己所作出的这个决定感到洋洋得意，她甚至于有点炫耀地问伯特说她这样决定是不是有那么一点意思。她说一般人是绝对想不出这种招数的。
到了这种时候，平时风度翩翩、口若悬河的伯特已经变得理屈词穷，他除了附和以及向妻子赔不是之外，转眼间好像一下子失去了自主意识，一切都在听任安妮的安排和调遣。
叫苦喊冤的当然只有高兰香，在这整个事件中，她从头到尾都是一个受害者的角色，现在却要由她来承担全部责任，成为这件事的罪魁祸首，不管怎么说也说不过去。而且，她最担心的是如果新加坡不让她呆，那么，她还能上哪里去？还有哪一条路可以让她们一家人走呢？于是她求安妮放过她，不要跟她一般见识，如果觉得这样还不解恨，还可以再打她，怎么打，怎么罚她都可以，就是不能把她赶出新加坡。安妮当然不可能去理会一个雇工的苦苦哀求，她不可能让自己的男人看上的人继续生活在自己的眼皮底下，那是极不安全的。而她，作为殖民统治者，作为这块土地的主人，她完全有能力把这个女人从这块土地上赶走，她为什么不可以按照自己的意志去做呢？安妮似乎觉得这样还不能完全彻底地解决问题，她必须有更大的举措。她小题大做，马上把家里所有的雇工全都召集在客厅里，并当着大家的面郑重地宣布了她的这个决定。那种做法多少有点杀鸡给猴看的味道。
高兰香满含屈辱被当场赶出安妮家的时候，心里有说不出的哀伤，她就像是一只浑身受伤的小鹿，反而不知道究竟疼在哪里了。这天夜里，在那个窄小的房子里，苍白的月光斜斜地照进屋子里，照在了床前。已经劳累了一天的黄泽如早已睡去，小小的黄佑国和佑娘也已进入梦乡。高兰香却眼睛睁得大大的，久久无法入睡，白天发生的事对她来说简直就像是在做一场梦，使得她甚至于怀疑那一切是否是真的。她想起当初她和黄泽如历经磨难，差点连命都丢掉来到南洋，现在生活才刚刚有了着落，就又出了这种事。
她知道，安妮不想让她在新加坡呆下去，就等于逼迫她们全家人离开新加坡，那该是怎样的一种情景？南洋虽然大，可脚下的哪一寸土地是属于她们的？她觉得生活怎么尽跟自己作对？要是当初听了黄泽如的话，对伯特保持一点距离，哪怕保持一点戒心的话，也不至于落到今天这种下场。她觉得这一切都是自己招来的，她真恨不得以自己的死去换取家庭的平安，否则的话，这一家子人往后该去哪里安身呢？反复想了大半夜，她想，看来也只有这条路好走了，她必须去死，她的父亲，丈夫，还有儿子，不可能因为她再想过上那种颠沛流离的生活。一想起就要离开他们，离开这个人世，高兰香伤心欲绝，哭了起来，她一遍又一遍地轻轻抚摸着身边的佑国和佑娘，她觉得这个世界虽然不公正，但自己是多么地留恋自己的亲人，她死得多么的冤呀！高兰香不禁泣不成声起来。
高兰香的哭声终于惊动了熟睡中的黄泽如。黄泽如翻过身来问高兰香到底怎么啦。这一问不要紧，高兰香终于控制不住自己的感情，号啕大哭起来。黄泽如怎么劝，仍然哭个不停。这时，住在隔壁的高伯听到哭声也推门进来，看那阵势，高伯毕竟上了年纪有些经验，他问高兰香是不是让人给欺侮了，高兰香先是不愿意讲，但经不住高伯和黄泽如在一边一再催促，高兰香终于说出了实情。黄泽如在国内时本来就对洋人一肚子的愤恨，现在听说要侮辱自己的女人，还要把她赶出新加坡，心里哪里受得了，立即跳下床说要跟那黄毛拼命去。高伯倒是冷静，劝黄泽如别太冲动了，冲动仍然解决不了问题，他说那洋人既然已经说出口了，已经赶高兰香走了，你想要改变他们是不可能的。在这块土地上，谁还敢跟他们作对？眼前唯一的办法只能想退路了。黄泽如心里不服说，难道我们就这样白白让他们给欺侮了？高伯说，不然你还要怎么办？你跟他们拼命去？你打得过他们吗？他们现在是这里的王。王是什么？王就是至高无上的，没人敢跟他们较量。在新加坡，他们想赶谁走谁就得离开这里，他们要让谁死谁就活不成，就连这里的土著都对他们没办法，你行吗？别拿鸡蛋砸石头了。
黄泽如听着，觉得那确实也不是解决问题的办法，搞不好只能把事情越搞越糟，以至于不可收拾。这时，高兰香也说，我宁愿去死，你也不能跟他们拼命去，我们怎么可能拼得过人家呢？我知道都是我不好，要是当初听了你的话，就不会有今天的事情了。
高伯长长地叹了一口气说，事到如今，怪谁都没用的，眼下关键的问题是看往下要怎么办。那洋人已经不让我家香香呆在新加坡，我们全家只好跟着香香走了，她去哪里，我们也只能跟着去哪里。我们总不能让香香自己一个人闯荡去。但要走哪里呢？我们还能够去哪里呢？
这成了摆在一家人面前的最主要的问题。商量了一个晚上，最后黄泽如说，依我看就去沙捞越投陈可镜、李清华他们去吧，现在我们已经没有任何地方可以去了。
高伯想了想说，看来也只有这条路好走了。
高兰香听说要去沙捞越投奔陈可镜夫妇，也不再哭了，跟着说，就去沙捞越吧，我们已经快有两年时间没有见到清华姐了，也不知道他们的日子都过得怎么样？
说着，没等到天亮，一家人就开始动手打装行李，有的包，有的捆，其实本来也没多少东西，只一会儿就收拾好了。第二天吃过早饭，按理说，该出发了，可高伯突然就不见了，黄泽如和高兰香都不知道他到底上哪去了，两个人带着佑国和佑娘坐在屋里等着，四目相对，心里都有些急，都觉得高伯在这种时候走掉有点奇怪，有点不可思议。其实，他们并不知道高伯纯粹是为了那个曾经跟他生活过半年的凤出去的。高伯本来是不打算跟女儿女婿去沙捞越的，他想继续留在新加坡，那种原因非常复杂，有一种说不清楚的感觉。但事后认真想了想，这才明白，其实就是因为凤，心里在惦念着凤。他不忍心把凤一个人丢在新加坡，自己说跑就跑到沙捞越去了。他觉得那样对凤不公平。但他又不能不去沙捞越，一家人好不容易在一起了，他不想因为凤，又让一家人四分五裂，那样做，女儿女婿也不会同意的。他于是改变了主意，决定跟女儿女婿一起走。但在要走之前，他又觉得他必须再去看一次凤，他不可能不辞而别。谁知道这一走，要等到什么时候才能够回到新加坡呢？
和过去几次一样，高伯这回仍然没有见到凤。于是他开始对凤的下落产生怀疑，心里想，不可能回回都见不到凤的，凤就是被人像监牢里关犯人一样给关起来，也还有放风的时候呢，哪能回回碰不到她？高伯于是向凤的邻居打听凤表哥的一些情况，这一问才知道凤表哥早已经搬家了，至于搬到哪里，邻居就不知道了。高伯听了相当失望，好像丢了一样非常贵重的东西，那样东西原本是属于他的，但他却太不珍惜，太不懂得去爱护了。高伯觉得他这辈子都难再见到凤了，当初其实不该把凤从自己身边给推出去的。现在想来，心里非常后悔。
回家的路上，高伯突然改变了主意，他决定不打算跟女儿女婿走了。他知道，要是他一旦跟着女儿女婿离开新加坡，就意味着他永远再也见不到凤了。回到家里，黄泽如和高兰香看高伯心事重重的样子，也不便多问，只催着高伯赶紧上路。高伯却支支吾吾说，他忽然想留下来，他不打算跟他们一起走了。他说他已经在新加坡生活了几年，已经很习惯这里了，一点也不想再挪个地方。要么就回大清国去，除了大清国，他哪里也不想去。
尽管女儿女婿并没有在意他为什么突然改变决定，高伯却总觉得好像他心里的秘密已经被他们给发现了似的，知道他在跟他们撒谎，说假话，心虚虚的，觉得相当不自在。女儿女婿并不明白他心里到底在想些什么，执意劝他跟他们走，并说他年纪已经大了，一年不如一年了，总不可能一个人生活下去。然而，尽管他们说了半天，也没能说服他，看他那样，女儿女婿也不勉强，只好随他了。临别时，高伯说他也没有什么好交代的，但有一点，他不得不交代，他说不管以后去了哪里，是沙捞越，还是马来亚，或是任何一个地方，一定得让佑国、佑娘他们讲中国话，不要学那些外国话。将来孩子上学，如果有中国人办的学校就去上，要是没有，宁愿不上，自己在家里教他们，一个举人的父亲还怕教不了自己的几个孩子？
高伯絮絮叨叨说着，等看女儿女婿满口答应了，他才放下心来。