我原名倪聰，字亦明，取「兼視則明，兼聞則聰」之意。一九三五年五月三十日中午十二時三十七分生於上海，祖籍浙江省寧波市鎮海縣。家中有兩個哥哥、兩個弟弟、一個姊姊、一個妹妹，七兄弟姊妹中排行第四，妹妹就是也寫小說的亦舒，本名倪亦舒。
一九五一年，即是我十六歲半那一年，家中的環境發生了變化，我的父母已到了香港，留下我獨自在上海。有一天我無所事事，在外面逛街，到了外白渡橋，過橋時見到柱子上貼了張很大的佈告，被風吹下一半，內容半遮半掩的，勾起了我的好奇心，便走上前翻起全張佈告來看，原來是「華東人民革命大學」招生，只要中學程度，滿十八歲就可以參加了。當時我在上海那麼無聊，有機會到蘇州玩一下還是很好的，便報名了。
我填表時寫是十八歲的，後來他們一查證件，才知原來我年齡不足，不過身體檢查通過了，他們也就錄取了我。那時候我根本不知道「華東人民革命大學」的性質，以為是讀書的大學，原來是受政治思想訓練的，訓練三個月以後，就可以去當兵。
初時我在蘇北辦農場，那個農場初具規模時，上級要抽調人手到內蒙古去墾荒，我報了名。我到了內蒙古紮賚特旗的「保安沼農場」去，在內蒙古過了兩個冬天後，一九五六年末我因把一道木橋拆下來生火取暖，結果被農場的黨委書記指為「破壞交通」，劃成「反革命」；加上我偷偷飼養的狼狗又把軍中的大隊長咬傷了，我被關在冰天雪地中一間偏僻的小屋內，周圍了無人煙的，寫「認罪書」，他們每兩星期派人來收取認罪書和給我送糧食──我後來寫稿寫得快，也是因為當時認罪書寫得多。
我遭隔離軟禁期間，只有一隻長毛波斯貓陪伴著我，後來《老貓》的故事，就是以那隻貓作基礎所寫的。那貓卻不知是從何而來的，很神秘。牠身上的毛不知什麼原因都打了結，我常與牠談話，一面幫牠理毛，耐心地把牠打結的貓毛解開，以消磨時間。從一九五七年二月到五月，牠的毛才解開一半，我卻要離開蒙古了，因為我有個朋友在人事處工作，他告訴我情況不對勁，黨委書記要組織一個法庭審判我，這次事件不判個死刑，也會判我一二十年徒刑，所以我聽從朋友的意見，逃出來了。
有個說法是「倪匡是騎馬從內蒙古到香港來的」。騎馬怎麼能騎到香港呢？這說法真是離奇到極點！
當時朋友給我偷了一匹又乾又瘦的蒙古馬，本來是想向北方走的，朋友說北方遊牧民族好客，只要我肯勞動便會收留我，我先學好蒙古話，改個蒙古名字，再娶個蒙古姑娘，過兩三年當成了蒙古人了，即使沒有戶口到哪裡去都沒有問題。但走到半夜時忽然下起雪來，完全看不見天上的北斗星，分不出方向。
我冷得四肢麻木，天地茫茫，什麼都看不見。當時的印象極其深刻，到香港後，有時天氣轉涼了我睡覺蓋的被子不夠，也還夢到那個情景。我正冷得不知打算，最後幸好「老馬識途」，那匹又乾又瘦的馬認得路，把我帶到一條小村莊去。
我看到那小村莊的燈光時，那種絕處逢生、如從地獄返回人間一樣的感覺，直至現在仍然記得很清楚。當時我根本是滾跌著下馬的，亂叫亂嚷，人們跑出來把我扶入屋去，給我喝了碗熱燙的豆腐漿，慢慢才有了知覺，然後再上馬，一路跑至位於黑龍江省泰來的火車站。那時天氣冷，車站的爐子又沒火，我老毛病又發作，把那裡的長櫈拆了下來生火，哈哈哈哈！
我也不記得在那火車站逗留了多久，總之有列車到我便擠上去，過兩個站稽查時沒車票，被趕下來後，我便又在車站等車，有車便又擠上去，就是如此這般，我一直從內蒙古走到安徽省的安山。那裡有一家規模很大的礦石廠，我有個親戚在當工程師，所以我便在安山住了一段時間，當最基層的雜役，賺到點兒人工後，買了張船票到大連。
本來要再買船票從大連坐到上海去的，錢卻不夠，只夠錢買票到青島，所以從青島到上海去的那一段路，是偷渡的。當時像我那樣的，還有幾十個年輕人，開船後船長發現了，難道把我們丟進海去不成？只好叫我們都睡在甲板上了。到上海後，那裡的親戚看到一個本該正在當兵的人莫名其妙地摸上門來，都嚇了一跳，不夠膽收留。
那時我已下定決心要離開中國大陸，最近的一站我可以到的便是香港，於是便睡在火車站，從上海一站一站的南下，走了三個月路才來到廣東的甲子港。那段路當然走得很苦，但現在有人說我當時把棉花煮熟了來充饑什麼的，卻是以訛傳訛。﹝現在在網上看到很多關於我的資料，都是以訛傳訛的，我也不澄清了，由得傳訛者去創作吧。﹞
那時一路上我跟幾位年輕人用肥皂刻印，印了一些有著很大的「關防」字樣及「中華人民共和國財政部」等字的公文使用，而且我又因為知道政府單位的結構及箇中的運作，便拿出在內蒙古時的工作證，說我們是從少數民族地區來的，向單位借了點錢，大家分來用，然後一路坐火車下來。
我很幸運，當時正值「大鳴大放」到「反右」之間的轉接期，環境寬鬆，才能那麼容易混過去的。當然，很多地方還要查路條，我便又用肥皂或番薯造假圖章自製路條，蒙混過關。那些關員很多都不識字，只懂看印章，見到印章大就以為是來自大機關的，所以我們造假印章時，總是有那麼大便造那麼大。
到了甲子港後，我乘搭一艘運送蔬菜的船先到澳門。在澳門，很奇怪，自然會有人來跟你接頭，通過一種半正式的方法，前來香港，明碼實價講明到香港要多少錢的。視乎情況，有些人可以到了香港才給錢，我便是屬於可以到香港才給錢的人，倒不知當時的蛇頭是以什麼標準來作衡量。
當時偷渡的市價，坐大輪船到香港要四百五十元，偷渡到香港要一百五十元。那時候我父母已經到了香港，我就寫信問父母，他們說最多能負擔一百五十元，我就用偷渡的方式來了。
我們被塞進運菜的船，船上有暗艙的，二三十人擠在那個很細小的空間內，到了公海沒有人巡邏，可以上甲板休息一下，大家聊聊天。我還記得船泊岸當天下著大雨，上岸的地點卻不是在郊區，而是九龍某地一條繁盛的街道，當時雖是凌晨，那地方仍很熱鬧，後來我特地去過多處碼頭，卻完全認不出當日是在哪一個碼頭上岸了。
帶我們到香港的那人跟我說，我不會講廣東話，獨自不要開口，一句話都不要講。他給了我一包黑貓牌香煙，告訴我有人跟我講話的時候就拿出香煙來假裝抽，別人看到我抽黑貓牌香煙就不會懷疑了。然後他問我的家在哪裡，我告訴他是在北角模範邨，他就把我送過去。
對於那人，我印象很深刻，之後寫小說時，也把類似的人物寫進過故事中。當時雨勢大得很，我跟那人還一起躲在騎樓底下避雨，雨小一點才冒雨去了我的父母家。媽媽開門看到我，嚇了一大跳。
我離開澳門當天是七月三日，所以我來到香港的正確時間，應該是一九五七年七月五日的凌晨。
那時候香港的政策是偷渡客只要到了市區，便可以拿身份證了，所以我到香港的第二天便去拿了入境證明書及申領身份證。當時的身份證是張紙卡，面積比現在的大很多，上面有相片，還要印上手指模。
我來到香港，第一次體驗到自由生活的可愛。當時的維多利亞公園是剛填海建成的，草地都是全新，我來到香港的第二天便到公園去，下午六點鐘，太陽將下山未下山的時候，我攤手攤腳的，躺在草地上便睡著了，一直睡至深夜十一時五十分，都沒有人理我。那時的維多利亞公園在半夜十二時關門，十一時五十分時有人告訴我們要關門了，叫我們走，我才施施然站起身離去。當時覺得這個地方實在太自由太美好，假如能讓我在這個地方住上十年，便很滿足了。
那時我到香港來，可說是孑然一身的，不過隨身也帶有一些書籍。我現在家中收藏的書不多，絕大部份的書，看完了都不作保留，不過始終珍藏著一本俞平伯的《紅樓夢研究》和一本周汝昌的《紅樓夢新證》，都屬於「棠棣出版社」出版的「中國古典文學研究叢刊」，它們隨同我偷渡到香港來，上面還有我親手所寫的感想。其餘家中的書，朋友有興趣看，我會叫他們放心拿走，唯有這兩本書，我千叮萬囑定要歸還。