コラム– category –
意思決定、AI活用、組織の進め方などをテーマに、現場での使いどころを意識したコラムを集めています。短い論点でも、読み終えた後の次の一手が見えやすいことを狙っています。
-
プロットとあらすじの違いについて
-
コンサルタントが「行うべきこと」
-
コンサルタントが「行ってはならないこと」
-
文体: スタイルとトーンの違い
-
生成AIを活用した文章執筆のパターン
-
文章執筆におけるパターンとは?
-
日本語文法概要の解説
-
フィラーとオノマトペの違い
-
文章はカレーだ:AIと共に創る、心に響く文章の作り方
-
SentenceとTextの違い
-
定型的な文書と非定型的な文書
-
文と文章の違い(ショート版)
-
文と文章の違い
-
生成AIが得意な文書、苦手な文書
-
文章を書けるメリットとは?
-
文書と文章の違い
-
文章における構成とアウトラインとプロットとの関係
-
プロットとアウトラインの違い
-
コンベア、コンテナ、コンテンツの違い
-
生成AI研修&コンサル事業の成功法則:キャッシュフローとユニークさで「AI界の寿司職人」を目指せ!
-
文章におけるアウトラインと構成の違い
-
スケール則(スケーリング法則)を、意思決定支援の視点で読む
-
AIデバイドの本質的理解:現代社会における新たな技術格差
-
生成AI検索エンジン「Perplexity AI」の主要な統計データ
-
インサイトとインテントの違い
-
セールスレターとランディングページの違い
-
生成AI検索エンジンの構造は、単にLLMを頻繁にファインチューニングするだけのものか?
-
生成AI検索エンジンの仕組みについての詳細解説
-
生成AI検索エンジンにできて、従来の検索エンジンにできないこと
-
生成AI検索エンジンと従来の検索エンジンとの違い
-
コンフォートゾーンと生成AIの関係性に関する研究
-
プロンプトエンジニアに必要なスキルを考えてみた
-
CoT推論を促すプロンプトの具体例
-
CoT (Chain-of-Thought) 推論についてのプロンプト例とそれに対するLLM応答例
-
LLMのTransformerの欠点を、意思決定支援の視点で読む
-
マークダウン記法での表の作成方法
-
VS Codeの主要なショートカットキーのチートシート
-
高度なプロンプトエンジニアリング手法の事例集
-
等式”=”の多義性により矛盾が生じるケースの紹介
-
数学記号の”=”には、多義性がある
-
トランスフォーマーにおけるエンベディングとコンテクストの関係
-
【Transformer】コンテクストベクトルの定義はエンコーダの出力を意味する
-
トランスフォーマーにおけるコンテクストベクトルの正確な定義と生成プロセス
-
トランスフォーマーにおける「コンテクスト」とは何か?
-
マルチモーダルAIにおけるモダリティ統合とエンベディングの理解
-
GPTモデルにおいて「タスクを分類するプロセス」は転移学習段階の内のファインチューニング段階で行われる
-
GPTが自己教師あり学習(Self-Supervised Learning)を用いてトレーニングされ、語彙のパラメータフィッティングを経てリリースされるプロセス
-
GPTは、自己教師あり学習でトレーニングを行っています。その結果、語彙のパラメータフィッティングを済ませてリリースされています。だからこそ、エンコーダを不要とし、デコーダのみで稼働しています。という主張の是非について。
-
LLMのTransformerにおいて、attention機構という名称は非常にミスリードだと考えます。結局は、すべてのトークンの他のトークンとの総当たりで比較した場合の類似度が大きいものを大きく評価するというだけの深層学習です。
-
GPTは文章生成に特化しているためエンコーダオンリーモデルであることに合理性がある
-
画像生成のDALLEモデルは、エンコーダーオンリーモデルか?
-
正則化と正規化の違い
-
自己回帰的ではないテキスト生成を行う大規模言語モデルの現状
-
GPTは、なぜTransformerのデコード部分しか使用しないのか?
-
GPTモデルにおいて、入力シーケンスのトークン数と出力トークン数が必ずしも一致しないのはなぜか?
-
GPTの出力長を決定する仕組み
-
GPTシーケンス(プロンプト)の入力からデコーダによる最終出力までを具体的なデータで説明
-
Transformerでのシーケンス(プロンプト)の入力からデコーダによる最終出力までを具体的なデータで説明
-
プロンプト入力処理に関連する最新の研究動向
-
Transformerモデルのエンコーダとデコーダの類似性と相違点、それらの比較表
-
Transformerデコーダが生成する確率分布を形成するロジットの「語彙」とは?
-
Transformerモデルのデコーダによる最終的なトークンの選択
-
Transformerのデコーダにおいて、次のトークンが選ばれるプロセス
-
Transformerのデコーディング手法において、「Top-Pサンプリング」を採用した場合、確率分布や累積確率はどの場所に保存されますか?
-
Transformerのデコーディング手法
-
Transformerのマルチヘッドアテンションに関する論点
-
Transformerモデルのデコーダにおけるシーケンス、ターゲットシーケンス、出力シーケンスの違いと役割
-
Self-Attention機構の要素であるバリューは入力エンベディングに対して線形変換を施したもの
-
Scaled Dot-Product Attentionにおけるバリュー(Value)
-
Scaled Dot-Product Attention(スケールド・ドットプロダクト・アテンション)の動作を具体的なトークンを使用して説明します
-
Transformerモデルのエンコーダにおけるシーケンス、ターゲットシーケンス、出力シーケンスの違い
-
Transformerの出力シークエンスを生成するプロセス
-
大規模言語モデル(LLM)の歴史
-
自然言語処理(NLP)の歴史
-
トランスフォーマーアーキテクチャの歴史
-
Transformerは既存の機械学習理論の詰め合わせ、寄せ集め、組み合わせである
-
GPTの歴史年表
-
Transformerアーキテクチャにおけるエンコーダの最終出力のデコーダへの活用方法
-
TransformerとGPTの違いと、それらを比較した一覧表
-
Transformerアーキテクチャにおけるエンコーダの最終出力
-
大規模言語モデルにおける学習と情報量の解析:ランダム性からパターン形成への進化
-
LLMのTransformerについて、エンコーダブロック内にフィードフォワードネットワークが存在するのに、なぜ残差接続や層正規化などの同様な処理が存在するのでしょうか?
-
層正規化の具体的な数値の例
-
「Attention Is All You Need」論文の要約解説
-
大規模言語モデル(LLM)におけるAttentionヘッドとAttention層の違い
-
LLMにおいてトークンがベクトル空間にエンベディングされる場合、ベクトルの長さと向きに意味的な違いがあるのか?
-
Self-Attentionのネーミングはミスリード。All-Attentionとすべき
-
TransformerでAttention層を何層も重ねる理由は?
-
Transformerは何層のAttention層を持つか?
-
TransformerのScaled Dot-Product Attentionの計算を行う場合、1個のGPUで何ペアの並列計算ができるか?
-
トランスフォーマーモデルにおける重み行列と学習プロセス
-
Transformerモデルには重み行列がたくさんある
-
Transformerモデルのエンコーダにおけるプロンプト入力の処理
-
LLMにおけるInput Embedding(埋め込み)の具体的な計算例
-
LLMのシーケンス内に未知の語彙がある場合の処理の仕組み
-
LLMのTransformerモデルは、エンコーディングプロセスは大変複雑であるにも関わらず、デコーディングプロセスはシンプルです。それはなぜでしょうか?
-
トランスフォーマーモデルにおけるシークエンスの順序と位置埋め込み
-
Transformerの位置情報の埋め込み(Positional Embedding)とトークン埋め込み(Token Embedding)の加算
-
エンティティ(Entity)とトークン(Token)の違い
-
大規模言語モデルが未知語を受け取った場合の処理
