google-code-prettify のプラグインですが、
Prettify Code Syntax を使っていたのですが、どうにも「<?php」「?>」が消えてしまうので調べたところ、以下の2つの問題がありました。
1.TinyMCE Advanced の「Stop removing the <p> and <br /> tags when saving and show them in the Text editor」オプションにチェックがついていると、保存時に実体参照「<」「>」で入力していたものがビジュアルエディタで表示すると「<」「>」に変換されるなどの変換が発生しておかしくなり、最悪消えてしまう。
2.プラグインが入っているとブログの実際の表示で「<」「>」をそのまま表示してしまう。（ちゃんと表示したかったらテキストエディタで「<」「>」を入力する。なおビジュアルエディタでは「<」「>」は「<」「>」と表示されているため実表示で「<」「>」に戻っているとは分かりにくい）
TinyMCE のオプションはやばいです。オフにしました。
テキストエディタでの表記は実体参照「<」「>」であるのが本来の姿と考えるので、ちゃんと表示できるプラグインに変えます。
そのために google-code-prettify のプラグインで見つけられたものすべてで表示してみることにしました。
テキストエディタでの内容：
<?php phpinfo(); ?>
WP Code Prettify
設定機能があって、以下の5種類のスタイル（desert、doxy、prettify、sons-of-obsidian、sunburst）が指定可能です。
desert
doxy
prettify
sons-of-obsidian
sunburst
Code Highlight
設定機能はなく、スタイルは1種類です。
Prettify GC Syntax Highlighter
設定機能はなく、スタイルは1種類です。実体参照がそのままの文字で表示されます。
google-syntax
設定機能はなく、スタイルは1種類です。
Code Prettify Syntax Highlighter
設定機能はなく、スタイルは1種類です。
Prettify Code Syntax
設定機能があって、以下の6種類のスタイル（Default、Desert、Sunburst、Sons of Obsidian、Bootstrap、Custom）が指定可能です。実体参照がそのままの文字で表示されます。
Default
Desert
Sunburst
Sons of Obsidian
Bootstrap
Custom
AI Code Highlight
設定機能はなく、スタイルは1種類です。
以上ですが、実体参照が表示できるものでデザインがよさそうなものを選ぼうと思います。