RD120にopensolarisを入れて、zfsでほえほえして、ESXからnfsで参照・・・したらにゃんだかおかしい。writeが2MB/sしか出てにゃい。
　嘘だ！！ とばかりにあちこち探しまくって、あれこれ試して、結局
　echo set zfs:zfs_nocacheflush = 1 >> /etc/system
　を書き損じてただけという衝撃の時間の無駄であったのだが、これはこれでローカルやCIFSは速くてもnfsだけはBBU付きRAID上にあってすら悲惨にflushの影響を受けるということが分かったのでよしとする。
　が、writeが改善されたら今度はwrite中にreadが返ってこにゃい。これはlsしても3秒待たされるってんだから、ディスクである。大変分かりやすくてよろしい。つまり、ServeRAID 8kのRAID6はWriteが溜まってるとReadが返ってこにゃいと思われる。ま、ドライバ次第という可能性も大だが。
　ということでバラしてzfsから制御するか何かやってみるしか無さそう。