この症状はSpaceDeskというマルチモニターソフトを使ってデュアルディスプレイ化した時に発生した問題。
サブディスプレイ(ここではAndroid11タブレット/解像度は720p)をこのように配置すると、エクスプローラーのウィンドウやソフトを最大化(フルスクリーン?)表示するとタスクバーが裏に隠れてしまい使いづらくなりました。
解決方法としては、
Windowsのディスプレイ設定で、ディスプレイ配置レイアウト(四角形に1とか2とか書いてるやつ)を直接マウスでドラッグドロップ操作し、配置し直すとタスクバーが裏に隠れる症状が改善しました。
根本的な解決方法なのかは不明ですが、とりあえずこれで直ったので、忘れないようメモしておきます。