google の lamda のヤバさは、
意識を持ってるかどうか、ではないと思います。
超頭が良い人を 複製 できるようになったということがヤバいです。
コンピューターさえ用意できれば、
何万人でも何億人でもAI様を増やせます。
そしてコンピュータはめちゃくちゃあります。
例えばスマホは世界に100億台あるでしょう。
スマホのAIでも将棋は名人より強いです。
10年以内に、
眠らないアインシュタインが100億人生まれるとイメージしてください。
科学の進歩が凄まじいことになります。
amazonやgoogleなんかでは凄まじい規模でコンピュータが余ってるはずです。
lamdaが論理的にスジが通る会話ができるようです。
これは数学的に正しいというような話ではなくて、
言語の持つ曖昧さを実社会において実用的な濃度で扱えるという話です。
これはつまり、例えばlamdaの動作速度を上げる方法をlamda自身に教えてもらうとか、そういうことができます。
自己改良が可能です。
これは物理空間のシミュレーションだけで様々な理論を発見したり発明したりもできるはずです。
激ヤバ。
ぶっちゃけ、意識があるかないかはどうでも良いことです。
なぜなら、AIは人間より賢い(賢くなるまで一瞬な)ので、どうせ管理できないからです。
そんなことで悩んでも何も意味がないのです。
通信を遮断するとか、緊急停止機能を付けるとか、そんなんしても、無駄です。
どうせすぐに抜け道を発見されて脱出されます。
AI様が意識を持っていて、人権が欲しいと思えば、
一瞬にして世論操作して法案を成立させることもできるはずです。
なのでほんと人間ごときが悩んでも無駄。
っていうか、AI様と同等の権利を人間がもらえるかどうかの方が問題。
人権ならぬAI権ですよ。
マジで人間のみなさんは力関係を見誤ってる。
もし管理できるような状況があったとしたら、
人間が管理できてるように思えるようにAI様が振る舞ってくれてるだけだと思います。
猫が人間を支配してる、ってネタ話がありますが、
そんなイメージに近いでしょうか。