Ribje torte imajo zgodovino, ki sega tisočletja, dolgo rezervirana za cesarske bankete. Legenda pravi, da je bil v starih časih Emperor Shun na južni turneji, v spremstvu njegovih dveh favoriziranih samostanov, Xiaoxiang in Xiang. Konstrukcije, ki jih je potovala, so koncibini izgubili apetit in se postopoma vedno bolj izmuznili. Obupan je cesar Shun iskal pravna sredstva, vendar brez uspeha. Sčasoma je ribič z imenom Bo predstavil konkubine s svojimi natančno pripravljenimi ribjimi tortami. Po tem, ko so jih pojedli, so se samostojni sestavljajo oživljene, utrujenost se je izprala. Cesar Shun, ki je ljubil svoje ljudi kot lastne otroke, je bil navdušen nad čudežnimi lastnostmi ribjih torte in naročil Bo, naj deli recept z vsemi. Od takrat naprej so ribje torte postale široko priljubljene.
Med vladavino cesarja Guangxu iz dinastije Qing je ljubljena konkubina cesarja Guangxua, koncibin Zhen, otroštva za ribje torte, sponko vsakega obroka. Njene ljubljene ribje torte, ki so bile nekoč predstavljene v palačo, so postale velik hit. Da bi izpostavili veličino palače, so cesarski kuharji v cesarski kuhinji natančno izpopolnili in izboljšali recept, ki ga je poučeval koncibubin Zhen, in ga spremenil v posebnost palače: znamenita ribja torta iz koncibine Zhen. Vendar pa je cesarica Dowager Cixi izvedla konzalko Zhen, ker je sledila vodstvu cesarja Guangxuja v podpori stodnevni reformi, so ribje torte izginile iz palače skupaj z njo.