💡 この記事の3行まとめ
- 画面翻訳への不安は「画面のどこまでが、どこへ渡っているのか分からない」という一点に集約されます。中身が分かれば、自分の環境で確かめられます。
- Mac専用の画面OCR翻訳『Zipp』は、
⌃Sで囲んだ範囲だけをApple Visionで文字認識し、Macの中で処理します。0.3秒で訳が出ます。 - 仕組みを知ると使い方の判断も自分でできるようになります。無料でダウンロード（登録不要）、1日15回までから試せます。
📌 この記事の対象読者
- Steamのゲーム画面を翻訳したいが、画面が外部に送られる点が気になっている方
- 「OCR」と「翻訳」が別の工程だと知らず、なんとなくツールを選んでいる方
- Apple Visionという名前だけ聞いたことがあり、実際に何をしているのか知りたい方
「便利そうだけど、中で何をされているか分からない」
Steamで英語のゲームを遊んでいると、読めない文字は必ず出てきます。クラフトの素材名、スキルの説明、クエストの目標、装備の比較表、死亡したときのログ。読めないまま進むと、判断の根拠がなくなります。だから翻訳したい。ここまでは誰でも同じです。
問題はその次に来ます。翻訳ツールを前にしたとき、多くの人が次の3つを説明できないまま導入を決めています。
- 画面のどこまでが入力になっているのか（画面全体なのか、選んだ行だけなのか）
- 文字の認識がどこで行われているのか（自分のMacの中か、外のサーバーか）
- その結果がどこに残るのか（ファイルとして保存されるのか、されないのか）
この3つが分からない状態を、ここでは「ブラックボックス」と呼ぶことにします。ブラックボックスは、便利さと不安を同時に育てます。使えば便利だと分かる。しかし何をされているか分からないから、ゲーム画面のように人に見せたくない情報が写る場所では、ためらいが残る。このためらいは、知識の問題であって、性格の問題ではありません。
ゲーム画面は、この不安が最も出やすい場所です。Steamのオーバーレイにはフレンドの表示名が流れ、通知にはメッセージのプレビューが出ます。設定画面には接続先の情報が並びます。翻訳したいのは画面の下にある一文なのに、渡しているのは画面全体。目的に対して過剰な材料を渡しているという状態が、無自覚に発生します。
そして厄介なのは、この過剰さが「便利さ」の一部に見えてしまうことです。画面全体を渡すほうが、範囲を選ぶ手間がないからです。手間を省くための省略が、そのまま提供範囲の拡大になる。ここは気持ちではなく、経路の設計で解くべき問題です。
解決策：3つの工程に分けて、Apple Visionの役割を知る
Zippの処理は、大きく3つの工程に分かれます。この3つを順番に理解すると、「どこまでが自分で決められて、どこがMacの中で完結するのか」が見えてきます。
手順1：入力の範囲は、自分が囲んだ矩形だけ
⌃S（Control + S）を押すと、画面の上に矩形を描ける状態になります。ドラッグして囲んだ範囲が、そのまま処理の入力になります。画面全体ではありません。ここが最初の分岐点です。
- クエスト目標なら、目標文の2〜3行だけ
- スキル説明なら、説明の段落だけ
- 装備の比較なら、数値の列だけ
- 素材名なら、その行だけ
囲む範囲は自分で決めます。つまり何を渡すかを、渡す前に自分で選べるということです。この一点だけで、ブラックボックス感はかなり減ります。範囲を狭くするのは、プライバシーのためでもあり、認識精度のためでもあります。余計な文字が入らなければ、訳に混ざる要素も減ります。
手順2：文字の認識は、macOSに含まれるApple Visionが行う
囲んだ範囲の画像から文字を取り出す工程を、一般にOCR（光学文字認識）と呼びます。Zippはこの認識にApple Visionを使います。Apple Visionは、macOSに含まれている画像解析のための仕組みで、画像の中の文字の位置と内容を読み取ります。
ここで大事なのは、Apple Visionが単体のアプリではなく、OSの中にある機能だという点です。だから別のアプリを立ち上げる必要がなく、処理のために画面の内容を外へ持ち出す必要もありません。Macの中で画像を読み、Macの中で文字にする。この工程に通信は介在しません。
認識の対象になるのは、囲んだ矩形の中に描画されている文字だけです。囲んだ外側は、たとえ画面に表示されていても入力になりません。この「範囲が閉じている」という性質が、後の確認作業を簡単にします。
手順3：訳を最前面に出し、閉じれば元の画面に戻る
認識した文字を日本語にして、最前面のポップアップとして表示します。0.3秒なので、待つための間が生まれません。読み終えたら閉じるだけです。ゲームの画面はそのまま残っています。
ファイルは作りません。クリップボードに画像を積むこともありません。訳を読むために画面を切り取るのではなく、画面に描画されている内容をその場で読む。この違いが、後片付けの有無につながります。
3つの工程を並べると、こうなります。自分で範囲を決める → Macの中で文字にする → Macの中で訳す。範囲を決めるのは人間、その先は端末内。この分担が見えれば、「どこまで渡しているか」を自分で説明できるようになります。
仕組みが分かった上で、実際に端末内で完結しているかを確かめる方法は1つです。Wi-Fiを切ってから⌃Sで英文を囲んでみてください。訳が出れば、その処理は回線を使っていません。画面画像の外部保存ゼロという言葉を、自分の環境で検証できる形に変えられるのが、この理解の実用的な価値です。
画面全体を渡す方法と、囲んだ範囲だけを読む方法の比較
【入力の範囲】
従来：画面全体。通知・ID・購入履歴も一緒に入る
Zipp：自分で囲んだ矩形の中だけ
【文字認識の場所】
従来：サービスのサーバー側で処理されることが多い
Zipp：macOS内蔵のApple Vision。端末内処理
【訳が出るまで】
従来：送信と応答の通信を待つ
Zipp：0.3秒。待つための間がない
【オフラインでの動作】
従来：回線がないと使えない
Zipp：画面画像の外部保存ゼロ。回線を切っても動く
【残るもの】
従来：画像ファイルが保存され、フォルダに溜まる
Zipp：ファイルもクリップボードも残らない
【無料枠の考え方】
従来：サービスごとに条件が異なる
Zipp：無料でダウンロード（登録不要）・1日15回まで
よくある質問（FAQ）
Q. Apple Visionは、何かアプリを別に入れる必要がありますか？ A. 必要ありません。Apple VisionはmacOSに含まれている画像解析の機能で、単体のアプリとして起動するものではありません。Zippはこの機能を呼び出して文字認識を行います。
Q. OCRと翻訳は、同じ処理ですか？ A. 別の工程です。OCRは画像から文字を取り出す工程、翻訳は取り出した文字を別の言語に置き換える工程です。Zippはこの2つを⌃Sの1回の操作にまとめているだけで、中では順番に処理されています。だから認識が崩れると訳も崩れますし、認識が正確なら訳も安定します。
Q. 囲んだ範囲の外の文字は、本当に読まれないのですか？ A. 読まれません。入力になるのは矩形の中の描画内容だけです。ただし、囲むときに隣の行や列を巻き込むと、その分は入力に入ります。文字の外側に少し余白を残す程度にして、隣の要素は入れないようにしてください。
Q. 端末内で処理しているか、自分で確かめる方法はありますか？ A. 回線を切って試すのが最も確実です。Wi-Fiを切り、ネットワークに繋がっていない状態で英文を囲んでください。訳が出れば端末内で完結しています。ZippはApple Visionを使うため、回線の有無で結果は変わりません。
仕組みが分かると、道具は「安心して使える道具」になる
翻訳ツールを選ぶときに本当に必要なのは、性能の数字よりも「何をどこまで渡しているか」の説明だと思います。画面のどこが入力になり、どこで文字になり、どこで訳になるのか。この3つが説明できれば、ゲーム画面のように人に見せたくない情報が写る場所でも、ためらわずに使えます。
囲む範囲は自分で決められ、文字認識も訳もMacの中で完結する。この構造を一度理解しておくと、次に別のツールを検討するときにも同じ目で見られます。まずは無料ダウンロードで、いま開いているゲーム画面の1行を囲み、回線を切った状態でも同じ結果が出ることを確かめてみてください。
▼ 無料でダウンロード（登録不要・1日15回まで）
zipp-mac.surge.sh