この1週間はGPT-3のユースケースの広さに驚かされる毎日でした． シリコンバレーでは話題騒然ですが日本ではほとんど話題になっていないので，勢いで書くことにしました． GPT-3はOpenAIが開発した言語生成モデルです．名前の由来であるGenerative Pretrained Transformerの通り，自然言語処理で広く使われるTransformerモデルを言語生成タスクで事前学習しています． 先月申請すれば誰でもGPT-3を利用できるOpenAI APIが発表され，様々な業種の開発者によって驚くべきデモンストレーションがいくつも公開されています． 特に話し言葉からJSXやReactのコードを生成するデモは著名なベンチャーキャピタルから注目を集め，誇大広告気味だと警鐘を鳴らす事態に発展しています． This is mind blowing. With GPT-3, I built
最初に ブログの更新は凄い久々ですね 殆どの方は知らないと思いますが僕は2017年8月に「7年後で待ってる」というiOS・Android向けゲームをリリースしました 7年後で待ってる（Nintendo Switch） 7年後で待ってる（iOS） 7年後で待ってる（Android） そこから3年半、アプリのDL数は600万まで伸びました そして記事のタイトル通り海外でヒットしたり映像化オファーが来たりとあれやこれやあったわけですが、そこら辺を宣伝も兼ねてちょっと色々書こうと思うので良かったら読んでいって下さい 最初に 「7年後で待ってる」を制作する前 6円の稼ぎ UnityとCocos2d 1000円って凄い 「7年後で待ってる」完成 リリース 急上昇ランキング DLC？ 最初のメール 中国語版リリース 多言語展開 二通目のメール ハリウッド 良くないことは続く その他いろいろ その他の嬉し
人工知能を学ぶためのロードマップ このページでは、人工知能や深層学習を学んだことのない方を対象に、 それらを学ぶためのロードマップを紹介しています。 本ロードマップでは達成目標として、 「研究者」「データサイエンティスト」「エンジニア」「ビジネス」の 4つの職業ごとに4つのレベルを設けています。 まずはレベル0として、人工知能についての基礎的な知識を学びましょう。 技術に触れる（学習想定時間：1時間） まずは最新のAI技術に触れて，AIによってどのようなことができるのかを確認してみましょう． メジャーなサービスを含めいくつか紹介します． ・ChatGPT ChatGPT すでに利用したことがある方が多いかと思いますが、OpenAIが開発・運営する大規模言語モデル（LLM）チャットボットです。LLMでは他にGoogleのGemini、AnthropicのClaude、Mistral AIなど
【渡辺明名人】37歳。名人・棋王・王将の三冠を保持し、現将棋界の序列１位。近年はコンピュータ将棋（AI）を用いての綿密な研究でも知られる。ほとんどの棋士を相手に勝ち越し「現役最強」とも言われるが、棋聖戦五番勝負では藤井聡太棋聖に挑戦して敗れた。 （７月某日、LINEにて、渡辺名人が研究用の新しいマシンの購入を検討しているという話になり） 渡辺 将棋ソフト用のパソコンと最新のソフト事情について教えてもらいたいんですけど。 松本 それなら水匠開発者の杉村達也さんが適任です。ご紹介しますよ。 渡辺 ディープラーニング系のソフトってなに？ってところですよ、私は（笑） 松本 ますますちょうどいい。私もそのあたり、さっぱりわからないので（笑）。ところで新しいマシンを買うのだと、たとえば藤井聡太さんみたいなモデルはCPUだけで50万円らしいですね。 松本 ということは、トータルで予算80万円ぐらいですか
出典:国立国会図書館ウェブサイト （https://ndlsearch.ndl.go.jp/books/R100000002-I000007324904#bib） 『むぢなのかたきうち』,[江戸前期]. 国立国会図書館デジタルコレクション （ https://dl.ndl.go.jp/pid/2541118 ）を加工して作成 『[お伽噺]』かち[カチ]山,宮田伊助,明14.9. 国立国会図書館デジタルコレクション （ https://dl.ndl.go.jp/pid/1167998 ）を加工して作成 巌谷小波 著『桃太郎主義の教育』,東亜堂書房,大正4. 国立国会図書館デジタルコレクション （ https://dl.ndl.go.jp/pid/933639 ）を加工して作成 三浦藤作 著『少年日本昔噺読本』,大同館書店,昭和9. 国立国会図書館デジタルコレクション （ ht
はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま
はじめに 最近ついに、Google Meet に背景ぼかし機能が利用可能になりましたよね。日本語だとインプレスのケータイ Watchの記事などで紹介されてます。確か 2020 年 9 月末前後で順次リリースされていたと記憶しています。 このときは「背景ぼかし」の機能しかなかったのですが、最近（私が気づいたのは 2020/10/30）更にアップデートされました。アップデートで「背景差し替え」機能が付いて、ぼかし機能もぼかし効果が強弱 2 つから選べるようになりました。まだ日本語のニュース記事は見てないですが、Googleによるアップデートの発表はちゃんとされています。 そして、Google AI Blog でBackground Features in Google Meet, Powered by Web MLという記事が公開され、実装についての解説がされました。 この記事はその解説記事を
0. 忙しい方へ 完全に畳み込みとさようならしてSoTA達成したよ Vision Transformerの重要なことは次の3つだよ 画像パッチを単語のように扱うよ アーキテクチャはTransformerのエンコーダー部分だよ 巨大なデータセットJFT-300Mで事前学習するよ SoTAを上回る性能を約$\frac{1}{15}$の計算コストで得られたよ 事前学習データセットとモデルをさらに大きくすることでまだまだ性能向上する余地があるよ 1. Vision Transformerの解説 Vision Transformer(=ViT)の重要な部分は次の3つです。 入力画像 アーキテクチャ 事前学習とファインチューニング それぞれについて見ていきましょう。 1.1 入力画像 まず入力画像についてです。ViTはTransformerをベースとしたモデル(というより一部を丸々使っている)ですが、
［速報］マイクロソフト、自然言語をプログラミング言語にAIで変換、新ノーコード機能をPower Appsに搭載。AI言語モデル「GPT-3」を採用。Microsoft Build 2021 マイクロソフトは、オンラインで開催中の開発者向け年次イベント「Microsoft Build 2021」で、ローコード／ノーコード開発ツール「Power Apps」に、英語で説明すると自動的にその機能をプログラミング言語の「Power Fx」に変換してくれる新機能の搭載を発表しました。 Power FxはExcelの数式をベースにしたプログラミング言語で、今年の3月に発表されたばかりです。 参考：Excelの数式をベースにしたプログラミング言語「Microsoft Power Fx」登場。オープンソースで公開予定。Microsoft Ignite 2021 これによりプログラミングせずに、Power A
YouTubeなどに投稿される動画は、ブラウザのデベロッパーツールや「yt-dlp」などを使ってダウンロードできますが、操作が少し手間です。オープンソースプロジェクトとして公開されている「cobalt」を使うと、URLを貼り付けるだけでYouTubeやX(旧Twitter)の動画をダウンロードできるとのことなので、実際に使ってみました。 GitHub - imputnet/cobalt: save what you love https://github.com/imputnet/cobalt cobalt https://cobalt.tools/ 上記のcobaltの公開ページにアクセスすると、以下のように表示されます。 今回は、試しに以下の動画をダウンロードしてみます。 1.56秒で180km/hに達する富士急ハイランド「ド・ドドンパ」の加速力3.75Gをプレス向け試乗会で体験してき
この記事は、ABEJAアドベントカレンダー2022 の 19 日目の記事です。 こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井です。 世間では Diffusion Model 使った AI による画像生成が流行っているみたいですね。 自分は元々 Computer Vision 系の機械学習エンジニアだったんですが、この１年くらいは AI モデル開発ではなくもっぱらバックエンド開発メインでやっていて完全に乗り遅れた感あるので、この機会に有名な Diffusion Model の１つである Stable Diffusion v1 について調べてみました！*1 では早速本題に入りたいと思います！ Stable Diffusion v1 とは？ Denoising Diffusion Probabilistic Model（DDPM） 学習時の動作 for
1億DLを突破 オードリー・タン氏も認める詐欺電話・SMS防止アプリ「Whoscall」とは？：台湾で2人に1人が利用（1/3 ページ） 「お荷物の住所が不明でお預かりしております」「プライム会費のお支払方法に問題があります」――。こんなSMS（ショートメッセージ）を受け取ったことがある人は多いのではないか。近年、SMSから偽サイトに誘導し、個人情報を盗む「フィッシング詐欺」が急増している。こうした詐欺SMSや迷惑電話を防ぐ台湾発のアプリ「Whoscall（フーズコール）」が世界で1億ダウンロードを超え、規模を拡大している。直近では福岡市が詐欺防止に向けて活用するなど、国内でも熱い視線が注がれている。一体、どのようなアプリなのか。創業者に話を聞いた。 電話が鳴ると、スマートフォンの画面上に「迷惑電話」「詐欺電話」といったアラートが表示される。「郵便局配達員」や「〇〇銀行」といった具合に、電
はじめに この度は個人でmeta翻訳という翻訳サービスを開発しました。 現在Google翻訳を筆頭に、機械翻訳サービスは乱立していて、業界としてレッドオーシャンだと思いますが、meta翻訳は複数ある翻訳サービスの中でも日本語⇄英語の翻訳では最高精度だと自負しております。 なので、個人でも頑張ればレッドオーシャンに突っ込めるくらいの機械学習サービスを開発できるというお話しをしたいと思います。 ※個人開発とは思えないくらい高精度なので是非一度使ってみてください。 meta翻訳の精度 まず初めにmeta翻訳の精度を簡潔に紹介したいと思います。 専門的な文章を翻訳する場合 「storm surge」など、専門的な単語にきちんと対応できています。 また、「power」が「電力」と訳されているように、専門的な文脈も識別して翻訳します。 口語的な文章を翻訳する場合 実は専門的な文章よりも口語的な文章の方
3DSとWii Uの「ニンテンドーeショップ」サービス終了迫る！ 今のうちに買っておくべきDLソフト「私はこれを買いました」 ライター：本地健太郎 今年（2022年），ニンテンドー3DSは発売から11年，Wii Uは10年を迎えた。多くの4Gamer読者にとって，さまざまなゲームの思い出が詰まっているハードだろう。 そんな3DSとWii Uの「ニンテンドーeショップ」は，2023年3月28日9：00をもってサービスを終了する。 3DSとWii Uのニンテンドーeショップへの残高の追加は2022年8月30日に停止されているが，「ニンテンドーネットワークID」と「ニンテンドーアカウント」を連携することで，Webサイトなどからニンテンドーアカウントに残高の追加が可能だ。これを活用すれば，クレジットカードやニンテンドープリペイドカードを使用して，ソフトや追加コンテンツ，ゲーム内アイテムを購入できる
※一部の抜粋です クリスタ素材配布サイトの「CLIP STUDIO ASSETS」から、2022年4月現在でDL数が1万～2万台の人気おすすめの漫画用原稿ペンをまとめました。DL数3万越えは別のページにまとめてありますので先にそちらをご覧になるのがおすすめ。 ※ASSETSの検索機能が弱く漫画向けのペンだけヒットさせるのが難しい為に、クリスタ触りたての人がざっと一覧で見れるようにと作成したリストなので、ある程度使用したことがある方には無意味だとは思います。筆圧など使いやすさや合うかは人それぞれで人気＝良いというわけではありませんので、あくまで検索の補助としてどうぞ。 調べた時点でのDL数なので、既に範囲のDL数を超えている可能性があります。今後見直して移動したりDL数の範囲を変えるかもしれません。 カラー・グレースケール向けの様なものは除外しています。 DL数だけで全て羅列すると凄い数にな
OpenAIはGPT-3の次の研究を始めています． 世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました． Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです． Scaling Lawはそれ単体だけなら興味深い話で終わるかもしれません．実際に英語圏でもあまり話題にあがっていません．しかし，この法則の本当の凄さに気づいている研究者もいて，なぜ話題にならないのか困惑しています． I am curious why people are not talking more about the OpenAI scaling law papers. For me, they seem very significant. What I heard so far:
本チュートリアルに関してのご質問は、SIGNATEにて開催中のコンペティションサイト( https://signate.jp/competitions/443 )のフォーラムにおきまして、新規のスレッド（ディスカッション）にてご質問していただけますと幸いです。 また、本チュートリアルに関してのご要望があれば、Githubリポジトリ( https://github.com/JapanExchangeGroup/J-Quants-Tutorial )の Issues からご意見をいただけますと幸いです。 (なお、投稿の際には、過去に同じご要望がないかご確認ください。) 2021-01-29: 初版リリース 2021-02-05: 誤字や表記の修正を中心に改良 2021-02-12:
小規模モバイルゲームはいかにして100万DLを達成したのか。「ローグウィズデッド」のマネタイズを学ぶ ライター：高橋祐介 room6のkohei氏 2023年12月17日に東京・新橋で開催されたインディーゲーム開発者向けのカンファレンス「Indie Developers Conference 2023」より，「100万DLを達成するための小規模モバイルゲームの開発と運営」のセッションレポートをお届けしよう。 2022年9月のリリースから1年3か月で100万ダウンロードを達成し，Google Play ベスト オブ 2023ではインディー部門で大賞を受賞したスマートデバイス用の放置RPG「ローグウィズデッド」（iOS / Android）は，どのような考えをもって作られ，サービスが行われてきたのか。同作を制作・運営するroom6のkohei氏より語られた。 セッション冒頭でkohei氏は，ロ
Transcribe and translate any audio file. Upload your audio file and get a transcript in seconds. Writeout.ai is a free online transcription service.
(最新SSD IOはPCIe x4でした。ご指摘ありがとうございます。） はじめに どの処理で律速しているか調べる 各処理の速度改善方法 データ読み込み速度の改善 データ前処理速度の改善 GPU処理速度の改善 コンピューティングについての他記事 はじめに Kaggle Advent Calendar 2022 8日目です。 突然ですが、あなたはDNN学習時にどの処理で学習速度が律速しているか把握してますか？ DNN学習には図に示すように大きく3つの要素があります： （SSDからの）データ読み込み （CPUによる）データ前処理 （GPUによる）DNN計算 学習時のデータの流れとしては SSDからデータが読み込まれ、CPUに送られる(SATA or PCIe) CPUにてaugmentationや正規化などの前処理が行われ、GPUにデータが送られる(PCIe x16) GPUにてDNNの計算・
パラメータを固定した事前学習済みモデルに対して、ごく少数のパラメータからなる低ランク行列を導入・学習することで、モデル全体のfine-tuningと同等の性能を発揮できる手法であるLoRAと、その論文について解説した資料です。 深層学習を用いた自然言語処理の歴史的な変遷と周辺技術から、LoRAが必要と…
![[輪講資料] LoRA: Low-Rank Adaptation of
Large Language Models](https://cdn-ak-scissors.b.st-hatena.com/image/square/65cb19b58389a8172f4ae0e0bffde9aca1b0c31e/height=288;version=1;width=512/https%3A%2F%2Fv17.ery.cc%3A443%2Fhttps%2Ffiles.speakerdeck.com%2Fpresentations%2F1a79cc87bdcc460ab0db72d0d9f2f902%2Fslide_0.jpg%3F25289431)
グラフニューラルネットワーク - Forkwell Library #50 https://forkwell.connpass.com/event/315577/ での講演スライドです。 サポートサイト：https://github.com/joisino/gnnbook グラフニューラルネット…
Raspberry Pi4 単体で TensorFlow Lite はどれくらいの速度で動く？【2020年12月版】RaspberryPiTensorflowLitexnnpack 1. はじめに 今から半年前の2020年6月、ラズパイ４上でTensorFlow Liteを使った様々なAI認識アプリを動かしてみて、その動作速度をまとめました。 当時のTensorFlowはバージョン2.2でしたが、現在は 2.4(rc4) へと進んでいます。進化が極めて速いDeepLearningの世界において、この半年間でTensorFlow Liteはどう変化したでしょうか。もし「手持ちのアプリは何も変えてないのに、TensorFlow Liteを新しくするだけでめっちゃ速く動くようになったぜ」というのだと嬉しいですよね。 本記事では、前回計測に用いたアプリを再び最新版のTensorFlow Lite環
この記事はFOLIO Advent Calendar 2022の23日目です。 ソフトウェア2.0 ソフトウェア2.0 という新しいプログラミングのパラダイムがあります。これは Tesla 社のAIのシニアディレクターだった Andrej Karpathy が自身のブログ記事（"Software 2.0"）で提唱した概念で、 ニューラルネットワーク のような最適化を伴うプログラムを例に説明されています。 従来のプログラム（Software 1.0）は人間が命令に基づいたプログラムを作成し、望ましい挙動を行わせます。それに対してニューラルネットワークのようなプログラム（Software 2.0）では人間はある程度の自由度をパラメータという形で残したプログラムを作成し、「入出力のペア」や「囲碁に勝つ」というような教師データや目的を与えてプログラムを探索させるというものです。 画像出典: "So
Deep Learning is such a fast-moving field and the huge number of research papers and ideas can be overwhelming. The goal of this post is to review ideas that have stood the test of time. These ideas, or improvements of them, have been used over and over again. They’re known to work. If you were to start in Deep Learning today, understanding and implementing each of these techniques would probably
こんにちは，米国データサイエンティストのかめ(@usdatascientist)です． (追記)動画版も公開しました！全38時間の3部作という超大作です 【日本一の高評価】機械学習超入門講座(前編&後編)を公開しました!! 【ついに3部完結】機械学習超入門講座の本番編を公開しました!! いやーついに長かったデータサイエンス入門機械学習編35回分の記事を書き終えました！！ 本記事はそのまとめです．目次として使ってください． 目次 線形回帰 第1回: 機械学習とは？なにをしているのか？ 第2回: 線形回帰の損失関数をわかりやすく解説 第3回: 最急降下法を図と数式で理解する(超重要) 第4回: 正規方程式を完全解説(導出あり) 第5回: scikit-learnを使って線形回帰モデルを構築する 第6回: 線形回帰の係数の解釈の仕方(p値) 評価 第7回: (超重要)過学習と汎化性能を理解する(
はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 自然言語処理分野における大規模深層学習の重要性は日に日に高まっていますが、GPT-3, GPT-4 などのモデルの学習には膨大な計算コストがかかり、容易に学習できなくなっています。実際、モデルサイズが近年急速に大きくなっていることにより、学習に必要な計算量(FLOPs)は以下のように年々膨大になっています。近年の大規模モデルでは、NVIDIA H100 80GB であっても 1 つの GPU では、モデルをのせることすらできません。 Compute Trends Across Three Eras of Machine Learning より またScaling Laws によると、大規模なモデルは小さいモデルと比較してより優れた性能を発揮するため、自動
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
日本語処理にも革命！？分かち書きをせず高品質な事前学習を実現する CANINE がすごい 【論文速報】
対象読者 こんな人に向いてます Transformerを知らない人 私も全く知らずに調べました！なんにもわからない人の目線で書きます！ 想定される疑問を載せてます！ 多層パーセプトロンは知っているけど、それ以降出てきたいろんな用語についていけなくなった人 いつも知らない言葉を含んだ図ばかりで結局詳細がよくわからないって思っている人 図に式も載せて式を見ればやっていることがわかるようにしました！ 結局解説サイトを読んでもどう動くかわからない人 実際に軽いデータでTransformerを動かしてみたい人 軽く動かせるNotebookを用意してます！ ミスがあればご指摘くださると幸いです。 Transformer 自然言語処理で大活躍している手法。 機械翻訳 テキスト要約 文章生成 文書カテゴリの分類 最近では、画像データやテーブルデータ（時系列データ）でも活躍しているようだ。 画像認識の大革命
〜AutoMLで実践する〜 ビジネスユーザーのための機械学習入門シリーズ 【第 3 回】 「積ん読」と「体重増」の悩みを AutoML で解決しよう 前回は、AutoML Tables による EC サイトの LTV 分析事例を紹介しました。今回は、同じ AutoML Tables を、より身近な課題の解決に使う方法を紹介します。 その課題とは、筆者自身が抱えていた 2 つの悩みです。ひとつは、スキャンして PDF で保管している書籍の「積ん読」を大量に抱えていたこと。もうひとつは、自宅作業ばかりで増え続けてしまっている体重です。 この 2 つの課題を一挙に解決するソリューションとして筆者が思いついたのが、「PDF 書籍をオーディオブックに変換する」という方法です。読みたかった書籍をオーディオブック化しておけば、ランニングしながら積ん読を解消できます。 この動画のように、Cloud Sto
拙著『深層ニューラルネットワークの高速化』が重版して第 2 刷となりました。皆さまありがとうございます！ 深層ニューラルネットワークの高速化 (ML Systems) 作者:佐藤 竜馬技術評論社Amazon もはや恒例、重版に感謝して書き下ろし専門記事をお届けします。 本稿では、SNS などでもたびたび話題になるトランスフォーマーは RNN であるという話をします。本稿では単に形式的に包含性を指摘するだけでなく、トランスフォーマーと RNN はどの程度似ているのかや、そこから導かれる応用上の意味についても詳しくご紹介します。 本稿は『深層ニューラルネットワークの高速化』の第 6.3 節と第 7.2 節に基づいています。 過去回 拡散モデルと最適輸送（最適輸送第 5 刷） GNN の最新動向（グラフニューラルネットワーク第 3 刷） 深層学習で部分空間を扱うときは射影行列を考えるとよい（グラ
BERTによるニュース記事の構造化：企業名抽出
AIがコミットメッセージ自動生成！神ツール『auto-commit』『commit-autosuggestions』の紹介 自動コミットメッセージ生成ツールについてコミットメッセージ生成というと、https://whatthecommit.com/ を思い出すかたも多そうですが、いまではコードを解析して自動でコミットメッセージを生成できる時代になりました。 OpenAI/Codex(GPT-3のプログラミング版)を用いた『auto-commit』、BEATを用いた『commit-autosuggestions』の2つの導入方法、使用方法を紹介します。 これらを使って「commit message 書き方」を検索する日々から開放されましょう。 auto-commit1. 概要https://github.com/m1guelpf/auto-commit/ こちらはOpenAIのCodexを用
こんにちは！ 画像システムグループで機械学習エンジニアをやっている小島です。 この記事では、今ホットな「Zero-shot Learning」と「Vision & Language」に関する最新情報を、CLIPという研究を起点として網羅的にサーベイをしていきます。このために論文1000本に目を通し、70本程度を記事にしました。 Zero-shotやVision & Languageは、Stable Diffusionに代表される画像生成AIとも密接に関連している技術です。この記事を通して、Vision & Languageの奥深い世界を体感できるでしょう。 注意事項 この記事は非常に長いため、全部読むのに1時間以上かかる可能性があるので、休憩を取りながら、または必要な部分だけ読んでください。各セクションを個別に読んでも問題ありません。 また、文章中の画像は、特別な記載がない限り、引用元の論
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 2020年も，機械学習コミュニティでは多くの新しい成果が見られました．2019年に引き続き，1年を振り返ってもっとも面白かった論文を10本紹介したいと思います． * 本記事は，私のブログにて英語で書いた記事を翻訳し，適宜加筆修正したものです． ** 記事中の画像は，ことわりのない限り対象論文からの引用です． 論文10選（公開順） 普段から，読んだ論文を簡単にまとめてツイートしているので，それを使って公開日順に振り返っていきます．対象はおおまかに「2020年に公開された論文」と「2020年に学会・雑誌で発表されたもの」とします．
May 22, 2020Download as PPTX, PDF36 likes17,912 views 日本ロボット学会 ロボット工学セミナー 第126回 ロボットのための画像処理技術 講演資料 https://www.rsj.or.jp/event/seminar/news/2020/s126.html 2012年の画像認識コンペティションILSVRCにおけるAlexNetの登場以降，画像認識においては深層学習，その中でも特に畳み込みニューラルネットワーク (CNN) を用いることがデファクトスタンダードとなった．CNNはクラス分類をはじめとして，物体検出やセグメンテーションなど様々なタスクを解くためのベースネットワークとして広く利用されてきている．本講演では，CNNの発展を振り返るとともに，エッジデバイスで動作させる際に重要となる高速化等，関連する深層学習技術の解説を行う． 1.
2022年6月8日にSSII 2022のチュートリアル講演で使用 2023年2月2日に順天堂大学産学連携講座：AI技術とビジネス活用で使用 2017年に機械翻訳を対象として提案されたTransformerは、従来の畳込みや再帰を排して自己注意機構を活用したニューラルネットワークです。2019年…
0. 忙しい方へ SAMは損失が最小かつその周辺が平坦であるようなパラメータを目指すよ SAMは次の3ステップだよ パラメータ$\mathbf{w}$の周辺で最大の損失をとる$\mathbf{w+\hat{\epsilon}(w)}$を求めるよ $\mathbf{w+\hat{\epsilon}(w)}$における損失を求めるよ 2.の損失に対する勾配でパラメータ$\mathbf{w}$を更新するよ SAMは一言で言ってしまえば、「パラメータ周辺での最大の損失を求めて、それが下がる方向でパラメータを更新する」ものだよ ImageNetやCIFARを含む9つの画像分類データセットでSoTAを更新したよ ラベルへのロバスト性も高いよ 1. SAMの説明 SAMは至ってシンプルです。というのも、今までは損失が最小になるパラメータを学習させていました。ただ、SAMは損失が最小かつその周りも平坦となっ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
