できること

機能

全機能の一覧と、それぞれの用途。

チャット欄ではなく、ライブセッション

チャット欄ではなく、ライブセッション

「スタート」をタップすると、マイクの音声がモデルへストリーミングされます。発言は文字起こしとして表示され、アシスタントの回答はその横に並びます。セマンティック音声検出が話し手の発言の終わりを把握し、話しかければ回答を遮ることもできます。回答の長さは簡潔、バランス、詳細の3段階です。

  • OpenAI Realtime API、gpt-realtime-2
  • 文字起こしと回答を並べて表示
  • 話しかけて回答を中断
  • 簡潔・バランス・詳細の回答
いまいる場に合わせたテンプレート

いまいる場に合わせたテンプレート

新しいセッションは、役割と指示があらかじめ書かれた17種類のテンプレートから始まります。面接、交渉、スプリント計画、デイリースタンドアップ、顧客ヒアリング、営業デモ、サポートトリアージ、インシデントのレビュー、デザインレビュー、ユーザー調査、講義ノート、1:1、採用報告会、決定会議、翻訳、コーディングタスク、製品レビュー。テンプレートを使わずに空のセッションを始め、役割と指示を自分で書くこともできます。どちらの場合も、目の前のセッションに合わせて編集できます。

  • 役割とプロンプト付きの17種類のテンプレート
  • 自分で指示を書く空のセッション
  • プロジェクトがセッションを、セッションが履歴を保持
双方向翻訳と音読

双方向翻訳と音読

「双方向に翻訳」をオンにして2つの言語を選ぶと、アプリが2人の間の通訳になります。それぞれが自分の言語で交互に話し、どの文ももう一方の言語で表示されます。「翻訳を読み上げる」がオンなら、訳が読み上げられます。2つの翻訳を同時に実行し、58言語に対応、消費は1分あたり約85クレジットです。一方向だけなら、翻訳セッションが、自動検出した言語でも指定した言語でも、話された言葉をあなたが選んだ言語に訳します。カラオケ式の音読は、Appleのオンデバイス音声認識を使って、あなたが声に出して読んだ単語を順にハイライトします。プレゼンのリハーサルや語学の練習に。

  • 2人の間で双方向に翻訳
  • 表示された訳をすぐに読み上げ
  • 一方向なら、話された言語を自動検出
  • オンデバイスの音読ハイライト
添付する文脈

添付する文脈

写真やスクリーンショットをセッションに追加すると、アシスタントはそれを見ながら答えます。Macでは、選んだ画面やウィンドウのキャプチャ、セッションの録画、システムオーディオの取り込みができるので、画面共有中の会議も文脈になります。

  • 写真、カメラ、スクリーンショットの添付
  • Macでの画面とウィンドウのキャプチャ
  • Macでのシステムオーディオ
タスク、メモ、スケジューラ

タスク、メモ、スケジューラ

役に立った瞬間は、ステータス、優先度、日付、コメント付きのタスクになり、スクリーンショットや動画を証拠として添付できます。セッションはリマインダー付きで予定に組めます。Macではメモが隣に並びます。すべて端末内に保存されます。

  • 証拠付きのタスクボード
  • リマインダー付きスケジューラ
  • Macでのメモ
  • ローカル保存
Macでのローカルモデル

Macでのローカルモデル

Appleシリコン搭載のMacでは、文字起こし用のWhisper Large v3 Turboと回答用のQwen 3 8Bをダウンロードして、マシン上で実行できます。音声を部屋の外に出したくないセッションのために。ローカルのセッションはクラウドを使わずに動作し、クレジットを消費しません。回答はテキストで表示されます。iPhoneとiPadでは、文字起こしはOpenAIか、Appleのオンデバイス音声認識のどちらかです。

  • WhisperとQwenを一度ダウンロードしてローカル実行
  • Appleシリコン搭載Macのみ
  • すべての端末でApple Speech