7年前と7カ月前、グーグルはTransformer（トランスフォーマー）アーキテクチャを世に送り出した。これはOpenAIのChatGPTなど、生成AIアプリケーションの中心にある技術だ。 そして今、グーグルは新たに「Titans（タイタン）」と呼ばれるアーキテクチャを公開した。これはトランスフォーマーを直接進化させたもので、人間のように考えるAIに一歩近づくとされている。 トランスフォーマーアーキテクチャには長期記憶が存在しないため、人間の思考において本質的に重要な、長期間にわたって情報を保持し活用する能力が制限されている。一方、タイタンは短期記憶に加えてニューラル長期記憶と「驚き」に基づく学習システムを導入している。それらは、予想外または重要な出来事を記憶する上で、人間が使っている仕組みに近い。 簡単に言えば、トランスフォーマーは「アテンション機構」と呼ばれるスポットライトのような仕組
生成AI（人工知能）を含む最新のAI研究動向を知るため、世界中の研究者やエンジニアが参照しているのが、論文速報サイト「arXiv（アーカイブ）」である。そんなarXivの投稿論文から、2024年12月15日から2025年1月19日にSNSのX（旧Twitter）で多く言及されたAI分野の注目論文を紹介する。調査には米Meltwater（メルトウォーター）のSNS分析ツールを利用した。対象はXの全世界のオリジナル投稿、コメント、再投稿、引用投稿である。 東京を拠点とするSakana AIと東京科学大学の研究チームは2025年1月9日、大規模言語モデル（LLM）が自律的にタスクを理解し、リアルタイムに適応する新しいフレームワーク「Transformer2」を発表した。このフレームワークを解説した論文「Transformer2: Self-adaptive LLMs」は、世界のSNS言及数ランキ
How has DeepSeek improved the Transformer architecture? DeepSeek has recently released DeepSeek v3, which is currently state-of-the-art in benchmark performance among open-weight models, alongside a technical report describing in some detail the training of the model. Impressively, they’ve achieved this SOTA performance by only using 2.8 million H800 hours of training hardware time—equivalent to a
2024年のノーベル化学賞は「コンピューターを用いたタンパク質の設計」の功績で米ワシントン大学のベイカー（David Baker）教授に，「コンピューターを用いたタンパク質の構造予測」で英国Google DeepMindのハサビス（Demis Hassabis）氏とジャンパー（John Jumper）氏に授与される。 タンパク質は20種類のアミノ酸が数珠つなぎになった分子だ。それがくねくねと折りたたまれて，複雑な立体構造をとる。この「数珠つなぎ」と「立体構造」の間に，「50年来の生物学のグランド・チャレンジ」と呼ぶべき，大きな未解決問題があった。タンパク質の立体構造予測だ。 タンパク質の立体構造予測は，タンパク質の生化学はもちろん，創薬や医学研究の観点からも実現が望まれてきた。タンパク質の形状や表面の微細な凹凸などがタンパク質の機能を左右するからだ。 構造予測の歴史 1970〜1980年代
米AIスタートアップ「Etched」は6月25日（現地時間）、ChatGPTなど最新のAI技術の基盤となっている「Transformer」アーキテクチャーに特化したチップ「Sohu」を発表した。この発表は、現在NVIDIAが支配的な地位を占めるAIチップ市場に、新たな競争をもたらす可能性がある。 Transformer処理に特化 AIチップ市場は現在NVIDIAが圧倒的なシェアを持つ。同社の汎用GPUは様々なAIモデルを効率的に処理できる柔軟性から市場の約80%を占めている。 多くの大手テクノロジー企業がAI開発のためにNVIDIAのチップに数十億ドルを投資しているのが現状だ。 Etchedの「Sohu」は、ASIC（Application-Specific Integrated Circuit：特定用途向け集積回路）と呼ばれる、特定の用途に最適化された集積回路だ。汎用性は低いものの、特定
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
先日、こちらのポストをお見かけしました。 AI技術開発部の高橋が社内勉強会の資料「時系列予測にTransformerを使うのは有効か？」を公開しました。 論文Are Transformers Effective for Time Series Forecastingの紹介を中心に、時系列予測について解説しています。ぜひご覧ください。https://t.co/LplxTT8b1d pic.twitter.com/nUXb4bGiQ3— GO Inc. AI Tech (@goinc_ai_tech) 2023年9月28日 なるほど、NN全盛というかNN一択の時代にあっては時系列予測もNNでやるのが当たり前になったのだなという感想でした。大昔「沖本本」で古典的な計量時系列分析を一通り学んだ身としては隔世の感がありますが、これもまたNN時代の趨勢なのでしょう。 なお、元論文2点は上記リンクから辿
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第4回目は、Googleが開発した、昨今の生成AIの根幹をなすTransformerモデルの後継をうたう、マイクロソフトの技術など、5つの論文をまとめました。 生成AI論文ピックアップTransformer同等の性能でメモリ効率がよく高速なモデル「RetNet」 Microsoft含む研究者らが開発 Meta、商用利用可能な大規模言語モデル「Llama 2」発表 画像内の物体テレポーテーションAI「AnyDoor」 アリババ含む研究者らが開発 生成AIの処理が高速になる「FlashAttention-2」 米スタンフォード大の研究者が開発 脳活動から音楽を生成するAI
2019.12.24 自然言語処理の技術紹介：危険すぎる（GPT-2）モデルと関連する技術を試してみた話（簡単な翻訳、ニュースの内容とFX動きの予測） こんにちは。次世代システム研究室のK.S.（女性、外国人）です。 そろそろ今年（2019年）も終わるということで、今年、盛り上がっていた人工知能（AI）の一部の関連技術をふりかえってみました。自分の勝手な印象ですが、今年の気になった技術だと、自然言語処理といったAIの一つです。特に、びっくり技術ニュースといえば、危険すぎると言われた自動文章作成モデルGPT-2だろうなと思いました。ということで、今回のブログでは、GPT-2についての勉強と簡単な実装を共有させて頂きたいと思います。 遡ってみると、2019年2月に、OpenAIといった有名な人工知能（AI）を研究する非営利団体がテキスト生成などの大規模な自然言語モデル（GPT-2）を発表しまし
ジェネレーティブAIの基礎を築いた論文「Attention Is All You Need」著者たちの今——期待される〝OpenAIマフィア〟の出現 2017年の画期的な研究論文「Attention Is All You Need」で、Google は、テキストや画像データ間の連続した関係や深い意味を強力なニューラルネットワークで学習する、つまり AI をより本物の「人」に近づける言語モデル「Transformer」を紹介した。 Image credit: Google 2017年、Google は画期的な論文「Attention Is All You Need」を発表し、今日の AI トレンドの基礎を築いた。 Transformer の最も重要なブレークスルーは、言語モデルの運用フローとは別に、多くの処理作業を同時に行うことでコンピューティングパワーを利用できるようにする「並列化」だ。ス
こんにちは。Anond AIを研究している id:cockscomb です。 私たちはこの度、このAI時代を制するプロダクト、Anond AIを開発しました。本エントリではその詳細について説明します。 Anond AIとは Anond AIはいわゆるGenerative AIで、人類が匿名で日記を書くことをアシストしてくれるものです。私たちは日記に芸術性を感じる文化を持っていて、「日記文学」という言葉もあります。Generative AIによって、名前を隠して楽しく日記を書くことをサポートし、匿名日記文化のさらなる発展に寄与できないか、と考えました。 Anond AIは、rinna/japanese-gpt2-mediumをはてな匿名ダイアリーのデータを用いてファインチューニングし、ドメイン適応させたものです。 Anond AIの開発 Anond AIは実験的なプロダクトのため、Hatel
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 作ったもの DLsiteの新作音声作品をクローリング -> 好みかどうか推論 -> 好みならSlack通知をするシステムを完全サーバーレス（AWS SAM）で構築しました。さらなる精度向上のため、Slackメッセージのボタンをもとに教師データを蓄積する処理も作りました。 デモ（ぼかしMAX） とてもわかりにくいですが、好みであろう作品がPOSTされているSlackの画面です。各メッセージについている「興味あり！」「別に…」ボタンを押すとLambdaが起動し、DynamoDBに新たな教師データとして保存されます。 なぜ作ったのか DLsi
グラフ理論と隣接行列 グラフ理論は点と線で物事を表す理論です。たとえば駅の路線図では下記のように駅を点、路線を線で表します。 東京メトロホームページより 上記の路線図では「駅と駅が隣接するかどうか」を中心に取り扱う一方で、それぞれの位置や方角などは厳密に再現はされません。このように、「隣接するかどうか」のみに着目して物事を表す際の理論を「グラフ理論」といいます。 グラフ理論では点をノード(node)、線をエッジ(edge)、全体をグラフ(graph)と定義します。数式で表すと$G = (V,E)$のように表しますが、$V$が頂点のVertice、$E$がEdge、$G$がGraphであるとそれぞれ解釈すると良いです。 グラフの表記法に関しては主に$2$通りあり、「①図を用いる」と「②隣接行列を用いる」をそれぞれ抑えておくと良いです。例があるとわかりやすいので下記のWikipediaの例を元
はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま
2017 年に Transformer が提案されてから自然言語処理の技術が飛躍的に進化しました。特に GPT-3 や PaLM など Large Language Model (LLM, 大規模言語モデル) は、近年の機械学習で最も関心が高い研究分野の一つであり、テキストや音声データから新しいインサイトを得る方法として注目を浴びています。このセッションでは、LLM を取り巻く環境の変化、Google の T5X などのフレームワークや Google Cloud での LLM 運用についてご紹介します。 チャプター： 0:00 イントロダクション 1:02 LLM(Large Language Model) とは 11:31 様々な LLM 26:03 Google Cloud における T5X の活用 35:00 まとめ 36:07 ライブ Q&A • Google Cloud Ja
こんにちは！sakasegawaです！ ( https://twitter.com/gyakuse ) 今日は今流行のChatGPTについて紹介します！ ChatGPTとは OpenAIが開発するGPT-3(※)というめちゃくちゃすごい言語モデルをベースとしたチャットアプリです。 色んな質問にすぐ答えてくれます。 この記事ではさまざまな使い方を紹介します。 https://chat.openai.com/ ちなみにGPT-3関連では、noteの以下記事も便利なのでぜひ読んでみてください AIがコミットメッセージ自動生成！神ツール『auto-commit』『commit-autosuggestions』の紹介 ※正確にはGPT-3.5シリーズと呼ばれています ChatGPTの仕組みを考えながらプロンプトを作る手法はこちらに別途まとめています 文章 質問-応答 〜について教えて Wikiped
Whisper is an automatic speech recognition (ASR) system trained on 680,000 hours of multilingual and multitask supervised data collected from the web. We show that the use of such a large and diverse dataset leads to improved robustness to accents, background noise and technical language. Moreover, it enables transcription in multiple languages, as well as translation from those languages into Eng
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 香港城市大学と米Microsoft Research、Microsoft Cloud+AIによる研究チームが開発した「Bringing Old Films Back to Life」は、劣化の激しい古い白黒映画を修復しカラー映像に変換する深層学習フレームワークだ。古い映像にある独特のフィルムノイズなどを修復し、色付けを行う。 古い映画は、現代の観客の心にも響き感動を与えるが、フィルムの経年劣化による解像度の低下やアーチファクトにストレスを抱える視聴者もいるだろう。 このような古い映画をよみがえらせるために、映画の修復技術が開発されてきたが、1コマずつ丹念に調べ、傷のレタッチ、ちらつきの修正
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
