我去到香港後，父母家中地方很小，媽媽馬上帶我去買了一張行軍床，晚上打開睡覺，白天收拾起來。然後我就到處去找工作。當時香港經濟不好，要找份工極不容易。我來到香港，一無學歷，二不懂廣東話，三不懂英文，完全沒工作，唯有去幹最基本的雜工粗活了。
我當過很多雜工，最累的就是鑽地的工作。當時香港普遍的工資是一天三元，但是鑽地的人工可以達到每小時兩元，我身體好的時候，一天可以工作四小時，時間再長就吃不消了。
鑽地的工作就是兩手拿著鑽地機，「轟轟轟」的打穿地面，機器按力度分有一百二十磅和一百八十磅兩種，我當時年輕，肌肉看起來很像樣，他們給我試了一百八十磅的，在物理定律下，每打地面一下，就會反彈一百八十磅的力回我身體，很是要命。鑽地的工作做了兩個小時，臉龐和四肢都被太陽曬得黑黝黝的，而且全身都震得快散了。
我又在染廠做過雜工，雙手浸在染缸裡面，脫皮得很利害。
一九五○年代由於「國共內戰」，中國大陸大批民眾湧入香港，同時又因而引入了資金、技術及廉價勞工，所以荃灣的德士古道、楊屋道及柴灣角一帶，興建了多間工廠，令那地方的工業發展十分蓬勃。那時我們從中國大陸出來的年輕人很多，大家聚集在荃灣人家棄置了的木屋裡，等待各樣工廠的工頭來叫我們開工。
我們一班人實行「無產主義」的生活，例如六十個人，當天有三十個人被找去開工的，他們便同時負責餘下三十個人的生活，大家十分互助。那時候荃灣很荒涼，工作環境也很簡陋，但是我很開心，因為自由了，而且收到人工後，每天都可以吃得飽飽的。想當年在內蒙古捉田鼠吃的日子，哪有如此舒服？我覺得很滿足了。
我們一班互相照顧的從內地來的年輕人，約定無論任何情況下，某年某月某日出來聚會，初時有六十二人，人數一年比一年少，如今只餘下我一人了。其他的人不少都很有成就，有富翁，也有在美國當大學教授的。
我什麼雜工都做，每天人工平均是三元五角，但工頭會扣起你六角作介紹費，自己實收二元九角。這聽起來很少，但我已十分開心了。當時的叉燒飯才賣七角一碗，人家吃叉燒要半肥瘦的，我則要多肥少瘦，飯大大碗，叉燒紅通通而且漏油，我第一次吃時，驚嘆天下間為什麼有這麼美味的食物！我在江蘇省北部的日子，每天都要作體力勞動，一個月才分配到五十五斤白米，二十天便吃完了，長期捱餓，而且還經歷過大饑荒啊。我一天的人工可以買到四碗多肥少瘦的叉燒飯，高興到不得了。若果錢不夠而又不夠飽時，可以叫一碗賣兩角的「靚仔戴帽」，即白飯加汁，這叫法現在很多人都沒聽過了。
從小我就愛看書，初來到香港那兩三個月時間內，便看遍了本地所有的報紙和雜誌，一面看我一面跟人說：「這上面的東西我也懂得寫啦。」人家說：「你神經病，你懂得寫？你又不是作家。」我說我是真的懂得寫，周圍的人有的鼓勵我，有的說我神經病，有的完全不理會我。
我都不理別人怎說了，自顧自寫起來。那時有份報紙叫《工商日報》，徵求一萬字小說，每周一次刊登於副刊上，我花了一個下午時間，寫了篇一萬字的小說，寫得很認寫，寫完了又修改，改完了第二天又買來幾十張原稿紙仔細謄清，最後在上面打了兩個洞，用粉紅色絲帶串好，打個蝴蝶結，寄到報館去。那是我畢生最認真的一次寫作了！
那篇小說叫《活埋》，是講中國大陸「土地改革」時發生的慘劇，跟我的親身經歷有點兒關係。稿件寄去後不到兩星期，編輯聯絡我，問我能否寫長一點，於是我把本來的一萬字多寫三千字，共一萬三千字。小說在一九五七年十月二十七日刊登，當時我也不知有多少稿費的，後來收到稿費，見竟有九十元之鉅，笑得我像瘋子一樣。我從來沒有賺過那麼多錢啊！我跟自己說這玩意兒真化算，我幹一天苦工才賺到三元五角，花一個下午寫出來的東西竟可賺到九十元，你說天下間還有更好的事麼？
那編輯跟我說：「你儘管寫來吧，我們認為可用的就用。」我於是連續投了多篇，他也用了我多篇，全都都是用「衣其」這個筆名來寫的。除了《工商日報》，我還有投稿到《真報》、《新聞天地》等。有一次我見到《文匯報》上面討論一篇小說，因為《文匯報》是份左派報紙，他們拼命批評那小說，我就寫文章去為那小說抱不平，結果我的文章也被刊登了出來，我連稿費都不敢去拿。
從那時候開始，我便正式成為一個寫作人了，沒有中斷過，也沒有做過其它職業。而且說來奇怪，打從我開始寫作，直至配額用完封筆為止，從來沒有遭到退稿，不知道是運氣好還是真寫得好，哈哈！
我用過很多筆名，最出名的便是「倪匡」。取這筆名，倪是我的本姓，至於「匡」字，是我隨手翻開《辭海》，第一個看到什麼字便用什麼字了，沒有特別意思的。除「倪匡」這筆名外，我用「衣其」的筆名寫政論；用「岳川」的筆名寫武俠小說，取「名岳大川」的氣魄；寫雜文用「沙翁」，因為女兒喜歡這甜點；用「衛斯理」寫幻想小說，是乘車時看到「衛斯理村」的名字得到啟發；用「魏力」寫木蘭花傳奇，是廣東話「毅力」的諧音；用「九缸居士」寫養魚的文章，是因為家中的魚缸共有九個；用「洪新」寫高達和高飛的故事；用「危龍」等比較少用的筆名寫短篇故事。
所有這些筆名，全都是隨意地想出來的，又多又雜，有一些現在你拿回來問我，我都未必記得了。例如我用過一個叫「倪裳」的筆名，寫過一些「三亳子小說」和「四亳子小說」，不過並不多，記得的書名包括《歷劫花》、《玻璃屋》、《玫瑰紅》等，十分文藝。
﹝「三毫子小說」是盛行於一九五○、一九六○年代的平價小冊子式小說，因售價三角而得名，十六開本，每本連封面及封底約二十頁；後發展成「四亳子小說」，改為三十二開，每本約五十頁，同樣能刊近四萬字內容。它們屬於「讀完即棄」的讀物，收錄的絕大部份是一期完的故事，每期稿酬三數百元，對於作家來說是個很不錯的收入來源。﹞
我還記得第一次投稿在報上發表的散文，題目是《石縫中》，當時我看到開山之後的石縫中，在沒有土、缺少水的情形之下，居然還有一株樹生長著，根部盡量蔓延，有感而發：在一個完全陌生的環境之中，也是可以掙扎求存的。
而第一本長篇小說叫《呼倫池的微波》，是一九五○年代末寫的，以蒙古草原為背景。那時我是生手，寫完還重新抄一遍，邊抄邊改。後來我無論寫什麼，寫完之後絕不再看第二遍。這處女作，由徐速的「高原出版社」出版。當年只賣出了三十多本。
說起來，我和太太開始談戀愛，也和我的投稿有些關係。我和倪太李果珍是在夜校認識的，那是在一九五八年，我生活安定以後，有錢交學費了，心想除了求生外，也得要自我增值，所以晚上便去修讀「新聞系」。倪太是去補習英文的，我們有一堂課同班，當時入秋，天氣很冷，一陣風把門吹開了，倪太回頭一看，那一眼真是動人之至，我立即跳起來，一個箭步跑去把門關上了，倪太便向我笑了一笑。當時我就決定一定要娶這個女子了。
我和倪太還未談戀愛時，她已經看我寫的東西了，我們一起上夜校時，有次一起等巴士，巴士沒來，我就趁機和她一齊從堅道踱步下山，到大路去乘車。我們邊走邊談時，倪太說：「我懷疑你是不是一個人。」當時她也看我的文章，說懷疑那個作家是不是我，我說我本來就是那個人嘛，大家從此便聊起來，聊個沒完沒了。
我開始投稿時，科技當然沒有那麼先進啦，但後來傳真機發明了，很多寫作的人以傳真方式交稿，我從來都沒有使用過，一直都是由報館派人來收的。我寫連載故事，原稿別人收去了，我沒有留底，便在案頭貼張紙，記下應該寫的是第幾回，例如「木蘭花故事」第十回的，便寫著「木蘭10」，再在上面寫著最後交了的稿的最後一句作提示，之後便懂得如何接著寫下去了。所以我即使在同一時間最多連載的日子，寫的稿都沒有搞錯過；報館收稿時卻試過搞混亂，但報館和報館之間又會自行聯繫協調妥當，完全不必我操心的。
後來我交到報館去的稿件，倪太會先替我去影印一份，不過那些底稿我都不會保留。我也從不收集發表出來自己寫的小說。很多人來找我說想出版我的武俠小說，我說：「那要你們自己去找稿件了。」
﹝即使我在美國居住時，寫好的稿會先影印一份，我也是把真跡寄給出版社，然後自己保留影印本的。葉李華曾問過我：「反正出版社只要小說內容來作排版之用，你能不能寄影印本過去，把真跡送給我收藏？」我說不行，人家給我那麼多稿費，我當然要寄真跡給人家，以示我的誠意了。﹞
﹝至於那些原稿的影印本，為了環保，到沒有用了，我便在稿紙有格子的部分打一個大交叉，背面空白的地方，拿來寫信或其它用途，也是不會久留的。﹞
一九七○年代，在開始連載十多年後，「明窗出版社」打算將「衛斯理故事」出版單行本，我也沒有存底稿，報社又找不回十多年前的那些報紙了，剛好看到溫乃堅先生投稿到《明報》專欄的文章中如數家珍地分析「衛斯理故事」，便寫信向他查問，他說手上有全套「衛斯理故事」的剪報，如蒙不棄，可以割愛，我當然馬上答應。我花了多少錢購買那些剪報？講錢失感情，我請溫先生好好的吃了一頓作為報答，哈哈！
溫先生提供的是從《藍血人》到《新年》的全部剪報; 其它的故事又得到包括孫漢鈞先生等的幫忙獲得。如果沒有大家的熱心幫忙，衛斯理故事也不能完整出版了。
我在「明窗」出版的第一本單行本，根據我的意思，選擇了《老貓》這故事，當時在扉頁處，便寫了感謝溫先生的話：「如果太陽系中沒有溫乃堅先生，這些書就不能出版。」我跟溫先生有段時間保持著聯絡，我寫的《天書》及《玩具》中那「逆轉裝置」的意念就是來自溫先生的，這兩本書在眾多「衛斯理故事」當中，獲得的評價都甚高。