Azarashiさん
View administratorで権限を持つアカウントでWindowsにログインされているかご確認ください。
試しにWindowsローカルユーザで作成した新規ユーザ(Administrator権限)にてView PowerCLI を使用したところ、同じNotAuthorizedエラーが表示されました。
Solved: PowerCLI get-connectionbroker Not Authorized for additional user
https://communities.vmware.com/thread/475260
The solution was to grant the new user account administrator rights within View Administrator itself.
参考まで。