コマンドラインからビルドするにはどうすれば良いのか調べてみたところ、MSBuild を使ってビルドするようになっていました。
確かに、プロジェクトファイルのフォーマットが MSBuild のフォーマットになっていますし、拡張子も変わっています。
使用するビルド設定に "Release" を指定して "C:\Projects\Sample\Sample.shfbproj" にあるプロジェクトファイルをビルドするには次のコマンドを実行します。
%SystemRoot%\Microsoft.NET\Framework\v3.5\MSBuild.exe /p:Configuration=Release "C:\Projects\Sample\Sample.shfbproj"
MSBuild を使ったビルド方法の詳細は、Sandcastle Help File Builder Help の Building Projects Outside the GUI に記載されています。