Azure Databricksの基盤となっているオープンソースの分散処理エンジンはどれか。

Azure Databricksにおいて、データサイエンティストがコードを記述・実行し、結果を共有するためのインターフェースはどれか。