那时太政大臣妙音院师长公正在法皇座前弹奏琵琶，唱着优美的朗咏；按察大纳言资贤卿正用笏板打着节拍，唱着风俗和催马乐；右马头资时，四位侍从盛定弹着和琴，唱着各种流行曲调。玉帘锦帷之中弦歌相和，非常有趣，法皇自己也与大家一道唱了起来。这时，文觉的一阵大声吵嚷，把调子打乱了，节拍也没有了，于是有人呵斥道：“是什么人？把这厮叉出去！”一语未了，在场的年轻气盛的年轻人都跑出去了。资行判官跑在前头，说道：“嚷嚷什么！还不快出去！”“不赐给高雄的神护寺一座庄园，我决不出去。”文觉说着，站在那里不动。资行判官冲上前去，要叉他的脖颈。文觉却拿化缘簿啪地打掉了资行判官的乌帽子，又一拳朝资行胸口打去。资行被打得仰面朝天倒在地上，发髻也散开了，讪讪地爬起来逃到殿堂的宽廊上去了。文觉又从怀里掏出一把马尾缠柄的短刀，随时准备捅上前抓他的人。他左手拿化缘簿，右手握刀，转着圈跑。这情景实在太意外了，好像他的两只手上都握着刀似的，公卿、殿上人都看呆了，不知道这是怎么回事。奏乐的兴趣早就没有了，法皇的御所闹闹嚷嚷地乱成一团。信浓的住人安藤武者右宗，当时在法皇警卫所供职，大声喝道：“这是在干什么？”拔出腰刀扑了上来。文觉毫不在乎地迎了上来。也许安藤武者觉得一刀将他砍死反倒不好，便改用刀背在文觉拿刀的手腕上击了一下，见那文觉被击之后，似乎锐气已失，于是扔下腰刀，说声：“你不想活了？”扑上去揪住文觉。这时，文觉在安藤武者的右腕上刺了一刀。那安藤不顾被刺仍紧紧抓住文觉。于是这两个不相上下的大力士滚来翻去地厮打起来。院中上下人等都战战兢兢地上前来，趁机对文觉施以拳脚。但文觉不以为意，破口大骂。后来将他拉到门外，交给检非违使厅，用绳子捆了起来。尽管如此，他仍对御所怒目而视，大声嚷着：“不肯捐赠也就算了，还叫文觉吃这苦头，将来总有一天会知道利害的。三界皆火宅，纵然是王宫也免不了这种灾难。就是十善帝王，来到了黄泉路上，也难免要受牛头马面的责罚。”就这样跳上跳下地骂。“这个秃驴，真是不知好歹！”人们说着，便把他投进牢里去了。资行判官因被打掉乌帽子，有好些日子不好意思进御所供职。安藤武者因为抓住了文觉，得到了奖赏，越过警卫所的长官，被直接升为右马允。不久，美福门院去世，施行大赦，文觉也被赦免。他本该找个地方修行，但他没有这么做，仍然捧着化缘簿到处募捐。但他并不只是募捐。“唉，现今天下就要大乱，无论是君是臣都要灭亡了。”他到处说这些令人胆颤心惊的话。因此，官方说：“不应让这个贼秃留在京城，把他流放到远处去吧。”于是就将他流放到伊豆国去了。
源三位入道的嫡子仲纲，其时是伊豆国国守，根据他的命令，先押着文觉由东海道坐船到伊势。于是检非违使厅派了三个差役押解着他出发了。差役们说：“厅里押送犯人有个惯例，象你这样的情况，可以想些通融的办法。你这样一个高僧，犯了这么大的罪，被放逐到远地，难道没有一个相好的人吗？如果有的话，可以向他们要些土产、粮食之类的东西。”文觉说：“可以托付这种事情的好友，是没有的。但是，东山那边倒是有个熟人。那就给他写封信吧。”于是差役就找来几张糟烂不堪的纸给他。文觉道：“这种烂纸，怎么能写这么重要的信？”将纸扔在地上。于是差役又找到了厚纸。文觉笑道：“我法师不会写字，你们给写吧。”便口授道：“文觉对高雄神护寺，有建造供养之志，因而化缘募捐，未料到遇上如此无理的官家，不但未得布施，反被投进牢狱，流放于伊豆。远流途中，土产粮食最为重要，乞予惠赐，交由来人带下为要。”差役照他口述写下来，问道：“收信人是谁呢？”“就写清水寺的观音法师。”差役说道：“原来你是在耍笑我们差役。”文觉说：“不要