新宿駅より京王線，調布駅(特急・準特急で2つ目，15分) 北口下車，
北西方向徒歩12分程度．交通案内は
マップ
を参照してください．電気通信大学西地区キャンパスの
南西端にある白い建物; 甲州街道(国道20号線)
下石原交差点の北20メートルに西門あり．
話者: 安田 絹子 (電気通信大学)
題名: Windows PCのためのGUI情報の抽出と転送 - 机から離れてPCを使おう
概要:
Windows PCの遠隔操作を実現するため、GUI操作情報のみを抽出して携帯端末
に転送するソフトウェア的なPCリモコンを実現した。PC上の画面表示はコンテ
ンツ表示部とGUI操作部に大きく分けることができるが、リモコンの実現には
このうちGUI操作部のみを転送すれば良いと考えられる。
しかし、WindowsではOSやアプリケーションのソースコードがほとんど公開さ
れていないため、GUI 操作に関する情報を外から抽出することは困難である。
本発表では、PCリモコンの実装の話を中心に、Windows の提供するAPIとフッ
クと呼ばれる機構を用いてWindows上のGUI操作情報をどこまで取得できるかに
ついて述べる。また、外部から得られる情報のみでWindowsをどのように拡張
できるか、関連研究の話を交えながらその可能性について述べる。
第289回 PTTメモ
日時: 2003年5月29日 (木) 18:30 から
場所: 電気通信大学情報工学科 西9号館 AVホール(3階)
出席者: 石畑清(明大)，伊知地宏(ラムダ数教研)，尾崎亮大(NII)，
飯島浩光(東大OB)，小熊寿(NTTドコモ)，
角田博保，岩崎英哉，中山泰一，竹内郁雄，多田好克，赤穂拓哉，
柳井啓司，林山剛久，友森崇善，宇治川亮，野田滋春，原大輔，
間瀬哲也，鈴木信吾，兵頭和樹，篠原哲洋，入江道生，竹内一弓，
花田智洋，福田伸彦，小野優介，佐藤喬，三浦明平，佐々木直志(電通大)，
松崎公紀，田中哲朗，林芳樹，丸山一貴，立山義祐(東大)，
小川直人，三浦元喜，楊智瑛
話者: 安田 絹子 (電気通信大学)
題名: Windows PCのためのGUI情報の抽出と転送
- 机から離れてPCを使おう
概要:
Windows PCの遠隔操作を実現するため、GUI操作情報のみを抽出して携帯端末
に転送するソフトウェア的なPCリモコンを実現した。PC上の画面表示はコンテ
ンツ表示部とGUI操作部に大きく分けることができるが、リモコンの実現には
このうちGUI操作部のみを転送すれば良いと考えられる。本発表では、PCリモ
コンの設計と実装の話を中心に、OSやアプリケーションのソースコードがほと
んど公開されていないMS Windows上でGUI操作情報をどのように取得・推測す
るかについて述べた。また、中味を触ることのできないWindows PC の操作環
境を拡張する一手法として、取得したGUI情報をXMLなどのプラットフォーム非
依存な形式で転送する手法を述べた。
発表スライドなどを以下に置いています。
http://www.spa.is.uec.ac.jp/~kinuko/slidemaker/0305ptt/
デモ:
一台のPCでデモ。HTTP越しにWebブラウザからPCを操作するデモは失敗。
質疑応答(一部):
Q: GUI情報の取得に、MicrosoftのRDP(リモート・デスクトップ・プロトコル)や
アクセシビリティ・ガイドラインが使えるのでは？
A: そうかもしれない。調べてませんでした。(その後調べて、アクセシビリティ・
ガイドラインは活用できそうだとわかった。ありがとうございます）
Q: ソフトウェア的にはともかく、ハードウェア的に通信などはどうするのか？
A: 携帯電話で制御することは考えている。通信は Bluetooth を考えており、
帯域的には大丈夫だと思うが、やってみないと(IP通信では)あまり面白くない。
Q: クライアントはステートレス？
A: トップレベルのウィンドウに関してだけステートを持っている。
Q: 普通の学習リモコンと逆のアプローチが出来るのでは？
A:
Q: NECの人が携帯電話でMUAを制御するなどの研究をやっている。
A:
Q: スライダーの操作・Webのリンク操作・アプリケーション起動・曲名選択などは？
A: できません。(実装してないものと、方針的に無理なものとあり)
Q: クライアント側でCUIなどで操作することは？
A: 画像を転送しているわけではないので可能です。
Q: サーバソフトの安定性・他のソフトへの負荷の影響は？
A: 正常動作中は大丈夫だが、フック機構を用いているせいで一度おかしくなると
他のアプリケーションまで道連れになることもある。
Q: UNIXではより情報が取れるというのは嘘では？
A: ちょっと嘘です。Windowsはソースは触れませんが割とえげつない情報が取れます。
Q: Mac OS 版は？
A: ありません。