凹凸窠の中心には、江戸時代の絵師の狩野探幽（1602年～1674年）が描いた中国の漢晋唐宋時代の詩人三十六人の肖像画があり、各詩人の肖像画の頭上には石川丈山が隷書体にて記した漢詩が書かれています。凹凸窠の創建と同じく1641年（寛永18年）に完成しました。

我が国の三十六歌仙にならったものであり、その選定には丈山と林羅山がいろいろと意見を戦わせながら、詩人として大変高潔な人物を三十六人選定しました。
それぞれ経歴、性格などが似ている者を相対するように壁にかけ、それぞれの組み合わせに意味を持たせたと言われています。

蘇武と陶潜、韓愈と柳宗元など七対は、林羅山の改定したところです。しかし、林羅山が蘇武に対して王安石を挙げようとしたのに対し、丈山は王安石の人物を好まず、「人物でなく、詩を重んぜよ」と両者の間に意見を戦わすこと数回、ついに王安石は省かれるなど、選定にはかなりの苦心がなされたと伝えられています。