AAAI-22 斜め読みメモ

トップ会議に採択された研究を眺めるだけで、1mmくらいはAI/ML系のトレンドをキャッチできるのではないかと思い、 AAAI-22の採択論文の中からいくつかピックアップして斜め読みしてみました。 内容に不備や間違いがあれば"優しく"コメントいただけると嬉しいです。

aaai-2022.virtualchair.net

以下に個人的に面白いなと思った研究の内容を、簡単にメモ書きします。

STDEN - Towards Physics-Guided Neural Networks for Traffic Flow Prediction

aaai-2022.virtualchair.net

• 交通予測に対して、物理的な法則と、NNのアプローチを融合させた手法を提案
  • 位置エネルギーと運動エネルギーの関係性から定式化したものを、Neural ODEの入力にして時系列予測を実施
• 3つの交通データセットで実験を行い、既存手法よりも良い予測精度が得られた
• 今回読んだ論文の中で、個人的に最も面白いアプローチだと感じた

Graph Neural Controlled Differential Equations for Traffic Forecasting

aaai-2022.virtualchair.net

• controlled Differential Equation(微分方程式の一種)を活用したneural CDEとGNNを組み合わせて、交通予測タスクを実施。
  • ノードの交通量を時系列予測
  • RNNとGraph Convolutional Networkの組み合わせは多いが、上記の組み合わせは初
• Neural CDEが時系列上のイレギュラーに対して頑健らしく、欠損値があってもモデルが動く
  • 従来のRNNなどが時間ステップtごとの予測を行うような仕組みなのに対し、Neural CDEは時間t方向に積分するため、 t-1とt間の隠れ状態を推定できるようになっている？
  • データをサンプルするタイミングが不均一なデータセットや、欠損が少なくないデータセットにはかなり有効なアプローチなのではないか。これも面白かった。

DiffSinger - Singing Voice Synthesis via Shallow Diffusion Mechanism

aaai-2022.virtualchair.net

• 音声合成の研究。
• マルコフ連鎖をベースにしたモデルを提案
  • 単純な損失の最小化問題や、GANによる音声合成だと、学習が安定しない、不自然な合成になるなどの問題があった
• 推論を高速化するため、イテレーションの初めの方でground-truthとのメルスペクトログラムの差を学習に活用する手法を導入
• 音声合成のタスクにおいて、Feed Forward TransforerやGANベースの既存手法に比べて、MOSやMCDの精度が向上

Out of Distribution Data Detection Using Dropout Bayesian Neural Networks

aaai-2022.virtualchair.net

• dropoutを使用したBNNで、分布から外れたデータ（OOD）の検出手法を提案
• 中間層のembeddingの距離をユークリッドではなくcosine距離で定義した
• 画像、自然言語、マルウェア検出の3つのタスクで、OODを検出できたかAUCとAccuracyで比較
  • 提案手法が最も良く学習データセットとそうでないデータセットの検出を、精度良くできた
  • 例えば画像タスクだと、MNISTをBNN(=Bayesian neural network)で学習する。その後、MNISTとfashion-MNISTなどをBNNに流し、その中間層をロジクティクス回帰の特徴量として、MNISTでないものを検出する

Data-Driven Real-Time Strategic Placement of Mobile Vaccine Distribution Sites

aaai-2022.virtualchair.net

• コロナワクチン接種率が低いデモグラフィックに接種してもらうために、週次でワクチン接種会場のレコメンドを行うシステムを開発

Market Design for Drone Traffic Management

aaai-2022.virtualchair.net

• ドローンを社会実装していく上で、問題となっている要素などをまとめて、今後の研究テーマなどに活用することを目的としたサーベイ論文のようなもの
• ドローンを社会実装していく上で重要な観点は次の5つ
  1. efficiency
     • 何を持って効率性とするか、どのように測定するのか
     • 先入先出法のような手法では、緊急事態や、直近に生じたニーズに対応できないというか課題
  2. fairness
     • 金、順番など、どの要素を持って公平性を担保するか、政府などが決定する必要あり
  3. simplicity
     • 市場が活発になるために、できるだけシンプルな管理体系が望ましい
     • 様々な要因によるトレードオフを全て明示的に考慮すると複雑になるため、機械学習などによる自動ルート組みなどを活用するのもあり（black-box的なシステムを有効活用する方がベターなこともあるということか？）
  4. incentives
     • 悪意のある行動に、他のユーザーの行動が萎縮してしまう場合もある
  5. scalability
     • 規模を大きくするには、システムを自動化していく必要があるが、NP困難などの計算コスト的問題が発生する

FairFoody - Bringing in Fairness in Food Delivery

aaai-2022.virtualchair.net

• フードデリバリー従事者（ギグワーカー含め）の給与が平等ではない問題がある
  • 地域によって収入に差があることが分かった
• これらの問題を解決するため、エージェントを機会平等になるよう配置する手法を提案
• あまり理解できず読むのをやめてしまった...理解したいので分かる方いたらコメントください

終わりに

特にまとめとかもないのですが、個人的には、物理法則を機械学習に導入している最初の2つの研究は（ベースとなっている既存研究含めて）面白いなと思いました。 特に手法が交通などのドメインに特化しているならば、それらの動きを特徴量やモデル内部のフローに導入するだけで、大きく表現力が上がりそうです。この辺りはAuto MLでも難しく、それゆえ人間による工夫の余地があって楽しそうです。