李敖開始對胡因夢厭煩。婚前，他喜歡看著她的光腳丫，笑稱自己有「戀足僻」。婚後，他見她裸足在客廳走，竟然暴跳如雷，說她很髒。此外，從不下廚的她為了丈夫走進廚房，準備為他熬排骨湯，但步驟不小心錯了，遭到對方痛罵：「妳這個沒常識的蠢蛋！」
「失望，是開拓自我的戰車，逼著我去接納人生裡頭的種種不完美。」
真正讓胡因夢對丈夫失望，是後來發生的「侵占蕭孟能」財產一案。當時，李敖趁著好友蕭孟能出國期間，侵吞了對方的古董和傢具，不但擅自拍賣了蕭孟能在水晶大廈的房子，還將與對方共有的「靜廬」房産，偷偷轉到胡因夢名下。
這起事件讓胡因夢心死，她發現丈夫並非「具有真知灼見又超越名利的俠士」，而是一個「多欲多謀、濟一己之私的智慧罪犯」，還不管妻子死活。胡因夢說：「我後來出庭作證，因為知道不少實情，就這樣我跟他徹底決裂了。」
離婚後，他們的糾纏還沒完，因為一棟天母房子的產權問題，李敖控告胡因夢偽造文書，搞得她丈二金剛摸不著頭腦，官司持續三年，她忍不住對前夫說：「這齣鬧劇可不可以不要再演下去了？」李敖苦笑回應：「其實我也不想演，只是已經騎虎難下了。」
至今這場官司仍是羅生門，雙方各執一詞，但心裡都是傷，「我們的關係竟然是如此扭曲與荒唐，愛之中摻雜了這麼多的恐懼與自保。」
往後30年，李敖總是不厭其煩在著作、節目、訪談中詆毀胡因夢，還取笑她如廁的姿勢很醜，對前妻各種揶揄和嘲弄。對此，胡因夢只對記者說：「多年來，他這樣不斷羞辱我，對我是一個很好的磨練。」
離婚後的胡因夢，就像經歷了一次徹底的洗禮，「我體重瘦到44公斤，肋骨一條條露了出來，但精神很好，心情也很平靜。」飽嘗人生大是大非，她開始朝身心靈的方向進修，「我發現我的長處不是在表演，我對深度的哲學、心理學這些靈性和理論的東西特別有潛力，我不喜歡娛樂圈的聲色犬馬。」
多年後，她甚至精準分析起了前夫，「仇恨的背後永遠有相反的情緒，他對於我的羞辱，背後似乎是難以忘懷，或者仍然在恐懼些什麼。」、「等到我自己深入真理以後，我發現我的前夫是一個思想家，但不是一個智者。」
