課題名「信頼されるExplorable推薦基盤技術の実現」

本研究は、AIシステムによる個人に最適化された支援を人々が安心して受けられる社会を実現するために、推薦システムの一般利用者が推薦の挙動を探索できる基盤技術を、情報学・神経生理学・社会心理学を融合した学際的な研究によって確立します。それにより、信頼される社会基盤として消費者あるいは生産者の立場で持続的に利用できるような、人間中心に制御できる透明性の高い推薦システムを提供可能にすることを目的とします。

科学技術振興機構(JST) 戦略的創造研究推進事業(CREST)
研究領域: 信頼されるAIシステムを支える基盤技術
課題名: 信頼されるExplorable推薦基盤技術の実現
プロジェクト名: RecMusプロジェクト (レクムスプロジェクト)
研究実施期間: 2020年12月1日から2026年3月31日まで

メンバー

研究代表者

後藤真孝

産業技術総合研究所　首席研究員

主たる共同研究者

古屋晋一

ソニーコンピュータサイエンス研究所　シニアリサーチャー

土方嘉徳

関西学院大学　教授

後藤グループ

後藤真孝　産業技術総合研究所　首席研究員　(2020/12～)
濱崎雅弘　産業技術総合研究所　総括企画主幹　(2020/12～)
中野倫靖　産業技術総合研究所　研究グループ長　(2020/12～)
加藤淳　産業技術総合研究所　主任研究員　(2020/12～)
佃洸摂　産業技術総合研究所　主任研究員　(2020/12～)
小山裕己　産業技術総合研究所　主任研究員　(2020/12～)
渡邉研斗　産業技術総合研究所　主任研究員　(2020/12～)
Cheng Tian　産業技術総合研究所　研究員　(2020/12～)
中塚貴之　産業技術総合研究所　研究員　(2021/4～)
石田啓介　産業技術総合研究所　テクニカルスタッフ　(2021/4～)
川崎裕太　産業技術総合研究所　テクニカルスタッフ　(2021/4～)
井上隆広　産業技術総合研究所　テクニカルスタッフ　(2021/4～)
髙橋卓見　産業技術総合研究所　テクニカルスタッフ　(2021/4～)
田中一大　産業技術総合研究所　テクニカルスタッフ　(2021/4～)
笠井志麻　産業技術総合研究所　テクニカルスタッフ　(2021/4～)

古屋グループ

古屋晋一　ソニーコンピュータサイエンス研究所　シニアリサーチャー　(2020/12～)
平野雅人　ソニーコンピュータサイエンス研究所　プロジェクトリサーチャー　(2020/12～)
奥貴紀　　ソニーコンピュータサイエンス研究所　研究員　(2020/12～)
木本雄大　ソニーコンピュータサイエンス研究所　RA　(2020/12～)
西岡勇人　ソニーコンピュータサイエンス研究所　プロジェクトエンジニア　(2020/12～)
西村悠　　ソニーコンピュータサイエンス研究所　エンジニア　(2020/12～)
小笠原佑樹　ソニーコンピュータサイエンス研究所　プロジェクトエンジニア　(2021/4～)
上原一将　自然科学研究機構　生理学研究所　助教　(2021/4～)
坂本嵩　　ソニーコンピュータサイエンス研究所　RA　(2021/4～)

土方グループ

土方嘉徳　関西学院大学　教授　(2020/12～)
井野泰輔　関西学院大学　研究補助員　(2022/8～)
木村有那　関西学院大学　研究補助員　(2022/8～)
天井里咲　関西学院大学　研究補助員　(2023/5～)
德山陽祐　関西学院大学　研究補助員　(2023/5～)
奥内優貴乃　関西学院大学　研究補助員　(2023/5～)
辰己紗楓　関西学院大学　研究補助員　(2023/5～)
高雄里音　関西学院大学　研究補助員　(2023/5～)
湊小楽　　関西学院大学　研究補助員　(2023/5～)

ニュース

2023/07/19

音楽発掘サービス「Kiite World（キイテワールド）」 に関するプレス・リリースをおこないました。クリプトン・フューチャー・メディア株式会社のプレス・リリースと科学技術振興機構(JST)のプレス・リリースも掲載されました。

産業技術総合研究所のプレス・リリース (2023/07/19)
音楽推薦に基づくマップ上で好みの楽曲を共有できる音楽発掘サービス「Kiite World」を公開－好みの100曲をお互いに公開してマップ上で一緒に聴きながら好みの楽曲を見つけ出せる－

主要学会発表

論文誌

Takayuki Nakatsuka, Kento Watanabe, Yuki Koyama, Masahiro Hamasaki, Masataka Goto, and Shigeo Morishima: Vocal-Accompaniment Compatibility Estimation Using Self-Supervised and Joint-Embedding Techniques, IEEE Access, Vol.9, pp.101994-102003, 2021/07.
Hiromu Yakura, Kento Watanabe, and Masataka Goto: Self-Supervised Contrastive Learning for Singing Voices, IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol.30, pp.1614-1623, 2022/04.
Hiromu Yakura, Tomoyasu Nakano, and Masataka Goto: An Automated System Recommending Background Music to Listen to While Working, User Modeling and User-Adapted Interaction (UMUAI), Vol.32, pp.355-388, 2022/05.
Takanori Oku, Shinichi Furuya: Noncontact and High-Precision Sensing System for Piano Keys Identified Fingerprints of Virtuosity, Sensors, Vol.22, No.13, pp.1-11, 2022/06.
Kaito Muramatsu, Takanori Oku, Shinichi Furuya : The plyometric activity as a conditioning to enhance strength and precision of the finger movements in pianists, Scientific Reports, Vol.12, No.22267, pp.1-12, 2022/12.
Hiroshi Sakuma, Ao Hori, Minami Murashita, Chisa Kondo and Yoshinori Hijikata: YouTubers vs. VTubers: Persuasiveness of human and virtual presenters in promotional videos, Frontiers in Computer Science (Sec. Human-Media Interaction), Vol.5, pp.1-12, 2023/03.
Kosetsu Tsukuda, Masahiro Hamasaki, and Masataka Goto: Why and How People View Lyrics While Listening to Music on a Smartphone, IEICE Transactions on Information and Systems, Vol.E106-D, No.4, pp.556-564, 2023/04.
Kosetsu Tsukuda, Keisuke Ishida, Masahiro Hamasaki, and Masataka Goto: Kiite Cafe: A Web Service Enabling Users to Listen to the Same Song at the Same Moment While Reacting to the Song, IEICE Transactions on Information and Systems, Vol.E106-D, No.11, 2023/07.
Kento Watanabe and Masataka Goto: A Method to Detect Chorus Sections in Lyrics Text, IEICE Transactions on Information and Systems, Vol.E106-D, No.9, pp.1600-1609, 2023/09.

国際会議

Hiromu Yakura, Yuki Koyama, and Masataka Goto: Tool- and Domain-Agnostic Parameterization of Style Transfer Effects Leveraging Pretrained Perceptual Metrics, Proceedings of the 30th International Joint Conference on Artificial Intelligence (IJCAI 2021), pp.1208-1216, 2021/08.
Kosetsu Tsukuda, Masahiro Hamasaki, and Masataka Goto: Toward an Understanding of Lyrics-viewing Behavior While Listening to Music on a Smartphone, Proceedings of the 22nd International Society for Music Information Retrieval Conference (ISMIR 2021), pp.705-713, 2021/11.
Kosetsu Tsukuda, Keisuke Ishida, Masahiro Hamasaki, and Masataka Goto: Kiite Cafe: A Web Service for Getting Together Virtually to Listen to Music, Proceedings of the 22nd International Society for Music Information Retrieval Conference (ISMIR 2021), pp.697-704, 2021/11.
Kento Watanabe and Masataka Goto: Atypical Lyrics Completion Considering Musical Audio Signals, Proceedings of the 2nd Workshop on NLP for Music and Spoken Audio (NLP4MuSA 2021), pp.1-5, 2021/11.
Tian Cheng and Masataka Goto: An Analysis of Using Fuzzy Annotations in CRNN-Based Joint Beat and Downbeat Tracking, Proceedings of the 30th European Signal Processing Conference (EUSIPCO 2022), pp.224-228, 2022/08.
Yuki Koyama and Masataka Goto: BO as Assistant: Using Bayesian Optimization for Asynchronously Generating Design Suggestions, Proceedings of the 35th Annual ACM Symposium on User Interface Software and Technology (ACM UIST 2022), No.77, pp.1-14, 2022/11.
Chisa Kondo, Hiroshi Sakuma, Yoshinori Hijikata: A Study on Agent Expression and User Gaze Behavior in Product Endorsement Videos, Proceedings of the International Workshop on Affective Computing and Emotion Recognition (ACER-EMORE2022), pp.658-665, 2022/11.
Takayuki Nakatsuka, Masahiro Hamasaki, and Masataka Goto: Content-Based Music-Image Retrieval Using Self- and Cross-Modal Feature Embedding Memory, Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV 2023), pp.2174-2184, 2023/01.
Erwin Wu, Hayato Nishioka, Shinichi Furuya, Hideki Koike: Marker-removal Networks to Collect Precise 3D Hand Data for RGB-based Estimation and its Application in Piano, Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV 2023), pp.2976-2985, 2023/01.
Jun Kato and Masataka Goto: Lyric App Framework: A Web-based Framework for Developing Interactive Lyric-driven Musical Applications, Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems (ACM CHI 2023), pp.124:1-124:18, 2023/04.
Tian Cheng and Masataka Goto: U-Beat: A Multi-Scale Beat Tracking Model Based on Wave-U-Net, Proceedings of the 2023 IEEE International Conference on Acoustics, Speech, and Signal Processing (IEEE ICASSP 2023), pp.1-5, 2023/06.
Tomoyasu Nakano and Masataka Goto: Music Source Separation with MLP Mixing of Time, Frequency, and Channel, Proceedings of the 24th International Society for Music Information Retrieval Conference (ISMIR 2023), 2023/11.
Kento Watanabe and Masataka Goto: Text-to-lyrics Generation with Image-based Semantics and Reduced Risk of Plagiarism, Proceedings of the 24th International Society for Music Information Retrieval Conference (ISMIR 2023), 2023/11.
Tian Cheng and Masataka Goto: Transformer-based Beat Tracking with Low-resolution Encoder and High-resolution Decoder, Proceedings of the 24th International Society for Music Information Retrieval Conference (ISMIR 2023), 2023/11.
Hiromu Yakura and Masataka Goto: IteraTTA: An Interface for Exploring Both Text Prompts and Audio Priors in Generating Music with Text-to-audio Models, Proceedings of the 24th International Society for Music Information Retrieval Conference (ISMIR 2023), 2023/11.
Vincent Cheung, Lana Okuma, Kazuhisa Shibata, Kosetsu Tsukuda, Masataka Goto, and Shinichi Furuya: Decoding Drums, Instrumentals, Vocals, and Mixed Sources in Music Using Human Brain Activity, Proceedings of the 24th International Society for Music Information Retrieval Conference (ISMIR 2023), 2023/11.
Haven Kim, Kento Watanabe, Masataka Goto, and Juhan Nam: A Computational Evaluation Framework for Singable Lyric Translation, Proceedings of the 24th International Society for Music Information Retrieval Conference (ISMIR 2023), 2023/11.
Kosetsu Tsukuda, Masahiro Hamasaki, and Masataka Goto: Chorus-Playlist: Exploring the Impact of Listening to Only Choruses in a Playlist, Proceedings of the 24th International Society for Music Information Retrieval Conference (ISMIR 2023), 2023/11.
Kosetsu Tsukuda, Tomoyasu Nakano, Masahiro Hamasaki, and Masataka Goto: Unveiling the Impact of Musical Factors in Judging a Song on First Listen: Insights from a User Survey, Proceedings of the 24th International Society for Music Information Retrieval Conference (ISMIR 2023), 2023/11.
Tomoyasu Nakano, Momoka Sasaki, Mayuko Kishi, Masahiro Hamasaki, Masataka Goto, and Yoshinori Hijikata: A Music Exploration Interface Based on Vocal Timbre and Pitch in Popular Music, Proceedings of the 16th International Symposium on Computer Music Multidisciplinary Research (CMMR 2023), 2023/11.

シンポジウム、ワークショップ (査読有)

佃洸摂, 石田啓介, 濱崎雅弘, 後藤真孝: Kiite Cafe: 同じ楽曲を同じ瞬間に聴きながら楽曲に対する気持ちを伝え合う音楽発掘サービス, 情報処理学会インタラクション2022論文集, pp.48-57, 2022/02.
小山裕己, 後藤真孝: BO as Assistant: ベイズ最適化を活用した非同期的なデザイン案生成のためのフレームワーク, 情報処理学会インタラクション2023論文集, pp.97-106, 2023/03.

研究会、全国大会等

佃洸摂, 後藤真孝: 繰り返し消費されるコンテンツを対象とした推薦理由の提示, 情報処理学会情報基礎とアクセス技術研究会研究報告, Vol.2021-IFAT-142, No.3, pp.1-7, 2021/03.
佃洸摂, 石田啓介, 濱崎雅弘, 後藤真孝: Kiite Cafe: 同じ楽曲を同じ瞬間に楽しんで「好き」が伝わる音楽発掘カフェ, 情報処理学会音楽情報科学研究会研究報告, Vol.2021-MUS-132, No.15, pp.1-10, 2021/09.
佃洸摂, 濱崎雅弘, 後藤真孝: 人はなぜ・どのように歌詞を閲覧するのか：スマートフォンでの楽曲聴取時の歌詞閲覧行動分析, ARG 第17回Webインテリジェンスとインタラクション研究会 (ARG WI2研究会) 予稿集, No.17, pp.67-72, 2021/12.
土田愛佳, 三輪玲佳, 土方嘉徳, 濱崎雅弘, 後藤真孝: 推薦システムに対するユーザの過信状態の測定尺度の提案, 電子情報通信学会ヒューマンコミュニケーション基礎研究会技術研究報告, Vol.HCS2021-43, No.363, pp.1-6, 2022/01.
近藤千紗，佐久間洋司，土方嘉徳: 商品紹介動画におけるエージェント表現とユーザ視線動作に関する研究, 情報処理学会ヒューマンコンピュータインタラクション研究会研究報告, Vol.2022-HCI-199, No.28, pp.1-8, 2022/08.
三輪玲佳, 土田愛佳, 土方嘉徳, 濱崎雅弘, 後藤真孝: 推薦システムに対する過信尺度の因子分析, 電子情報通信学会ヒューマンコミュニケーション基礎研究会技術研究報告, Vol.HCS2022-46, No.166, pp.55-60, 2022/08.
矢倉大夢, 渡邉研斗, 後藤真孝: 歌声のための自己教師あり対照学習による特徴量表現の獲得手法, 情報処理学会音楽情報科学研究会研究報告, Vol.2022-MUS-135, No.9, pp.1-8, 2022/09.
中野倫靖, 後藤真孝: MDX-Mixer: 複数の音楽音源分離モデルによる出力波形を時変混合するシステム, 情報処理学会音楽情報科学研究会研究報告, Vol.2022-MUS-135, No.8, pp.1-9, 2022/09.
土方嘉徳，近藤千紗，佐久間洋司: YouTuberとバーチャルYouTuberの商品紹介動画における広告効果と印象の違いに関する研究, 第65回消費者行動研究コンファレンス報告要旨集, pp.70-77, 2022/10.
渡邉研斗, 後藤真孝: 入力文章の内容に沿った新たな歌詞を生成する作詞支援システムと剽窃リスクを下げる歌詞生成手法, 言語処理学会第29回年次大会 (NLP 2023) 発表論文集, pp.964-969, 2023/03.
加藤淳, 後藤真孝: TextAlive App API: 「リリックアプリ」の提案とプログラミング・コンテストでの実証実験, 情報処理学会音楽情報科学研究会研究報告, 2023/08.

RecMus